도리사는 고구려의 아도(阿道)가 창건하였다고 전한다. 아도는 신라에 불교를 전하고 돌아오다가 한겨울인데도 복숭아꽃과 자두꽃이 만발한 터를 보고 도리사를 지었다. 이곳은 태조산 기슭으로 현재 절터만 남아 있고, 지금의 절은 금당암(金堂庵) 자리이다. 고려시대에는 모전석탑(模塼石塔)의 양식을 지닌 삼층석탑을 봉안하였다. 조선시대 들어 1639년(인조 17)에 아도 화상 사적비를 조성하였는데, 1655년(효종 6) 이 비의 뒷면에 자운비(慈雲碑)를 새겼다. 1677년(숙종 3) 화재로 전소되었다가 1729년(영조 5)에 대인(大仁)이 아미타불상을 금당암으로 옮기면서 도리사로 바꿨다. 1800년대에도 꾸준히 중수가 계속되었고, 1876년(고종 13)에 극락전을 중건하였다. 1881년(고종 18)에는 신중, 독성, 칠성을 각각 탱화로 봉안하였다. 현대 들어 1976년 아도화상 석상을 발견하였고, 1977년 세존사리탑에서 금동사리기와 진신사리 1과를 발견하였다. 가람은 극락전, 태조선원(太祖禪院), 삼성각, 조사전, 석탑 등으로 구성되어 있다. 성보문화재로는 세존사리탑 금동사리기(국보)와 삼층석탑(보물), 아도 화상 석상과 사적비, 조선 후기의 탱화 등이 있다. 금동사리기는 육각형의 탑 형태로 9세기에 조성하였다. 높이는 17㎝, 너비는 5.8㎝이다. 세존사리탑이라는 명문이 있는 석종형의 부도에서 발견하였다. 이 사리탑은 원래 석적사(石積寺) 터에 있던 옛 탑에서 발견된 사리와 금함을 1743년(영조 19) 이 탑에 다시 봉안한 것이다. 사리기는 육각형의 탑신부와 뚜껑의 기능을 가진 옥개부(屋蓋部) 두 부분으로 나뉜다. 탑신부의 6면에는 각각 범천과 제석천, 사천왕이 섬세하게 새겨져 있다. 도금이 부분적으로 탈락되고 탑신에 작은 구멍이 있으나 보존 상태는 매우 양호한 편이다. 함께 출토된 사리는 콩알 크기만 한데 진신사리라고 전한다. 현재 직지사성보박물관으로 옮겨 보관하고 있다. 삼층석탑은 높이 3.3m로 일반적인 석탑과는 다른 양식을 지닌 특이한 모습이다. 바닥돌 위에 받침돌을 놓고서 그 위에 탑신부와 상륜(相輪)을 겹겹이 올려 쌓은 모전석탑 양식이다.