단속사는 통일신라 시대 748년(경덕왕 7)에 이순(李純)이 창건하였다. 그는 스스로를 공굉 장로(孔宏長老)라 하고 세속과의 인연을 끊는다는 의미에서 단속사라고 하였다. 763년(경덕왕 22)에는 신충(信忠)이 절에 은둔하였다. 효성왕은 왕위에 오르기 전 궁정의 잣나무 밑에서 신충과 바둑을 두면서 왕이 되어서도 신충을 잊지 않겠다고 약속하였다. 그러나 왕이 약속을 지키지 않자 신충은 원망을 담아 「원가(怨歌)」를 지어 잣나무에 걸었다. 그러자 나무가 갑자기 말라 죽었다. 이 향가를 들은 효성왕이 비로소 자신의 잘못을 깨닫고 상을 내려 주었다는 이야기가 『삼국유사』에 전한다. 신충이 단속사에 은거한 이유는 당시의 권력다툼으로 상대등(上大等)에서 밀려났기 때문이다. 한편으로는 「원가」의 대상이 경덕왕이라는 견해도 있다. 절에는 813년(헌덕왕 5)에는 희강왕의 아버지 김헌정(金獻貞)이 지은 신행선사비(神行禪師碑)가 건립되었다. 신행(704~779)은 북종선(北宗禪)을 도입한 인물로 이 절에서 오랫동안 주석하였다. 이때의 절은 신행의 제자 삼륜(三輪)이 헌덕왕비의 후원을 받아 크게 성장하였다. 동·서의 삼층석탑도 이때 건립하였다. 이 무렵 가람은 법당과 강당, 동·서의 석탑 등으로 이루어져 있었다. 당시의 유명한 화가 솔거(率居)가 그린 유마상(維摩像)도 있었다. 절 인근에 최치원(崔致遠)이 바위에 쓴 ‘광제암문(廣濟嵒門)’이라는 글씨가 있어 그가 절에 머물렀음을 짐작할 수 있다. 고려시대 1148년(의종 2)에는 대감 국사(大鑑國師) 탄연(坦然, 1070~1159)이 주석하였고, 1172년(명종 2)에는 그의 비를 세웠다. 이 당시 절에는 진정대사비(眞定大師碑)도 있었다. 1226년(고종 13)에는 절에서 『선문염송집(禪門拈頌集)』을 간행하였다. 고려 말의 강회백(姜淮伯, 1357~1402)은 이 절에서 과거 공부를 하면서 매화를 심었다. 그는 훗날 벼슬이 정당문학(政堂文學)에 이르렀으므로, 이 나무를 ‘정당매(政堂梅)’라고 불렀다. 조선 초기에는 교종(敎宗)에 속하였으나 정유재란 때 폐사된 것으로 전한다. 절터에는 동·서의 삼층석탑과 당간지주, 여러 동의 건물터만 남아 있다. 삼층석탑은 813년 무렵에 조성한 것으로 추정하는데 신라 석탑의 빼어난 양식을 지녀 보물로 지정되었다. 두 탑은 크기와 양식이 유사한데 옥개석 상단 괴임이 동탑은 1단, 서탑은 2단이라는 차이를 지녔다.