建暦２０年（８０１年）坂上田村麻呂が蝦夷討伐の戦勝記念と仏の加護への感謝を込めて造営したと伝えられています。京都の鞍馬寺から毘沙門天を勧請し、百八体の毘沙門天をまつったと言われております。当時、達谷窟には悪路王という蝦夷の首領が住んでおり、坂上田村麻呂に征伐されたという伝説が残っています。また、北限の磨崖仏があることでも有名になっています。