신라 하대에는 각 지역에서 토호 세력이 성장하면서 영향력을 키워갔다. 정치·사회적 변동이 심했던 이 시기에는 중국에서 전래된 선종이 지방에서 점차 힘을 키웠고 교학 중심의 중앙 불교계와 성격을 달리하는 새로운 기풍을 선보였다. 당시 많은 승려가 중국에서 선종을 전수해 오면서 실천 수행에 힘쓰고 지역 유력자의 후원을 받아 산문을 개창했다. 8세기 이전에 이미 선종이 소개되었고, 8세기 중반에는 신행(信行)이 당나라에서 북종선(北宗禪)을 배워 왔다. 그리고 9세기 초에는 도의(道義)가 육조 혜능(惠能)의 남종선(南宗禪) 법맥을 전수해 왔다. 도의는 남종선 계통인 홍주종(洪州宗) 마조 도일(馬祖道一)의 제자 서당 지장(西堂智藏)에게 인가를 받고 821년에 귀국했다. 『백장청규(百丈淸規)』를 쓴 백장 회해(百丈懷海)는 도의에 대해 “강서(마조)의 선맥이 동국의 승려에게 가겠구나.”라고 평했다고 한다. 하지만 도의는 귀국 후 선종을 기피했던 중앙 불교계로부터 배척을 당했고, 강원도 양양의 진전사(陳田寺)에 은거하며 후학을 양성했다. 9세기 전반에 남종선이 도입된 이래 지방에서 여러 산문(山門)이 성장했고, 고려 전기에는 구산선문이 선종을 대표하게 되었다. 구산선문은 고려 광종(재위 949~975) 대 이후에 확립된 것으로 보인다. 산문의 개산조가 활동한 시기로 성립 순서를 추정해 보면, 도의를 계승한 체징(體澄)의 가지(迦智)산문이 제일 먼저 생겨났고 이어서 도헌(道憲)을 개조로 하는 긍양(兢讓)의 희양(曦陽)산문, 홍척(洪陟)의 실상(實相)산문, 혜철(慧徹·惠哲)의 동리(銅裏)산문, 현욱(玄昱)을 이은 심희(審希)의 봉림(鳳林)산문, 무염(無染)의 성주(聖住)산문, 범일(梵日)의 사굴(闍崛)산문, 도윤(道允)의 제자 절중(折中)의 사자(獅子)산문, 이엄(利嚴)의 수미(須彌)산문 차례였다. 산문은 스승과 제자 사이의 사승 관계를 기준으로 한 인적 계보 중심으로 전통을 이어 갔다. 심한 경우 희양산문의 개조인 도헌(824∼882)은 북종선을 표방했지만 손제자인 긍양(878∼956)은 남종선을 선양하여 선풍을 달리했음에도, 같은 산문의 적전 계보로 연결되었다. 고려 전기에 구산선문이 선종을 대표하는 명칭으로 쓰인 것은 1084년(선종 1) 구산의 문도들이 승과를 볼 수 있게 했다는 『고려사』의 기록을 들 수 있다. 이후 의천(義天, 1055~1101)에 의해 천태종(天台宗)이 선종의 하나로 개창된 뒤에 기존의 선종은 조계종(曹溪宗)을 표방했다.