藤原秀衡の三男・泉三郎忠衡の居館と伝えられています。忠衡は秀衡の意志を継いで、最後まで忠義を尽くし義経を守ったとされています。
付近は、衣川が周囲を囲む天然の要害で、現在、城跡は民家の敷地や畑、水田に利用されている。丘陵の北側に泉三郎の供養塔があり、その先に曽良の随行日記に書かれた月山が見えます。
伝承では前九年合戦における琵琶の柵の跡地で、戦の中心舞台となったことろと伝えられています。