robots.txtとは、Googleなどの検索エンジンのクローラーに対して、「どのURLにアクセスしていいか」を伝えるものだ。しかしながらかならずしも設置しなければならないものではない。本記事では、疑問などについて詳しく解説している。