秀衡の居所といわれる「加羅御所」に由来しています。伽羅とは中国を意味しており唐風の建物だったとも言われております。また、香木で伽羅木を使った建物だったからとも言われています。奥の細道で芭蕉は、伽羅之御所跡を「秀衡のあとは田野になりて…」と詠んでいます。