高祖宮、飯石宮、馬場宮の三宮を祭っていることから、名がつけられました。
神社の裏には、縦2m、横1.8mほどの大きな石があり「千里飛石(せんりとびいし)」といわれています。
ある年の大みそかの深夜、ごう音と共に大振動があり、里人は大地震だと大騒ぎをしましたが、はたと止んで静かになりました。一夜明けて、里人が恐る恐る戸外に出てみると田んぼに大石がにょっきり立っていました。占いを立て神意を伺うと、この大石は千里の遠い高麗の国から飛来したものだというお告げで、注連縄を張って祭るようになりました。
また、この伝説から、ここの地名は千里になったといわれます。