伊豆国に配流の身となっていた源頼朝が、源氏の再興を祈願し、妻・北条政子の逢瀬の場であったとも伝わります。悲願を成し遂げた神恩に感謝し、当神社を『関八州総鎮護』と崇めました。また、頼朝を深く崇拝した徳川家康も、頼朝にならい天下を治める『強運の神』と深く崇めました。