常光寺は奈良時代の初め、聖武天皇の勅願で行基菩薩が創建したと伝えられている。平安時代中期には、白河法皇が本尊・地蔵菩薩の霊験あらたであることを聞こし召され高野山に参詣のおりに当寺に参詣されたとのこと。