源頼朝が藤原泰衡を滅ぼし後、鎌倉大仏を模してこの山に大仏を安置したと伝えられています。その後、山の崩落により埋没したといわれ、大仏山の地名が残っています。現在は、昭和12年に大佐公民館に隣接して再建した石仏があります。