1177年源義経によって建立された神社。元社といわれる祠は、長者の白堀山にあり1805年に現在地に移設された。
義経のシンボルである「白旗」が神社の名前の由来といわれている。