小豆島には古くからお遍路めぐりが行われてきた八十八ヶ所霊場があり、多くの神社やお寺などの礼拝所があります。江洞窟は、その八十八ヶ所霊場のひとつに数えられる霊場です。