嘉祥３年（851年）慈覚大師が、牟婁峰大観現（むろねだいごんげん）の天台宗修験道別当として寺を開山。 　源義経が霊山祈願のとき、左巻白藤をお手植えしたと伝えられています。 曹洞宗は黒石に正法寺を開山して宗旨を拡張し、円泉寺も天文元年（1532年）に神下り川辺（かみおりかべ：現上折壁）に移り、建高寺と名を変えて正法寺の末寺となっています。