마하연사는 통일신라시대 676년(문무왕 16)에 의상(義相, 625~702)이 창건하였다. 의상은 신라에 화엄 사상을 전파한 화엄종의 종조(宗祖)이다. 중국 당나라에 유학하여 8년간 화엄을 공부하였다. 귀국 후 부석사를 비롯한 화엄십찰(華嚴十刹)을 창건하여 화엄 사상을 펼쳤는데, 마하연사도 이 십찰 중의 하나이다. 마하연(mahā-yāna)은 ‘대승(大乘)’을 의미한다. 의상이 내금강의 중향성(衆香城)에서 일만 이천 보살과 함께 마하반야(摩訶般若)를 강설하였다는 전설에 따라 이름을 마하연사라고 하였다. 조선시대 불교를 부흥시켰던 허응당(虛應堂) 보우(普雨, 1509~1565)가 15세 때인 1523년(중종 18) 이곳에서 출가하였다. 절은 금강산의 중심부에 위치하고 백운대로 오르는 길목에 있어 많은 유람객들이 방문하였다. 조선 중기 영의정을 지낸 이정구(李廷龜, 1564~1635) 등 금강산을 유람한 많은 이들의 시에 등장하기도 한다. 조선 후기의 고승 화악 지탁(華嶽知濯, 1750~1839)이 지은 『삼봉집(三峰集)』에 「마하연중건기(摩訶衍重建記)」가 있다. 이에 의하면 1800년대 초에 율봉(栗峯)이 머물며. 수백 명의 학인들에게 화엄일승(華嚴一乘)을 가르쳤다고 한다. 1832년(순조 32)에는 그의 제자 월송(月松)과 용암(龍巖), 용담(龍潭) 등이 힘을 모아 중건하였다. 중건 가람은 50여 칸이었는데, 그중 월전(月殿)과 운방(雲房)이라는 이름의 전각 36칸에 학인들이 가득 찼다고 한다. 1848년(헌종 14) 대운(大雲)이 마하연 선실을 지었다. 1932년에는 형진(亨眞)이 59칸의 당우를 중수하였다. 금강산의 여러 명찰 가운데 참선수행처로 유명하여 경허, 만공, 청담, 효봉, 성철, 석주 등 근현대의 고승들이 이곳에서 수행하였다. 한국전쟁으로 소실되었다가, 현재는 법당과 칠성각 등이 남아 있는 것으로 전해진다. 마하연사 주위에는 가섭암지(迦葉庵址), 수미암(須彌庵), 선암(船庵) 등의 여러 암자가 있었다.