robots.txtはクロール制御のために用いられるファイルです。主にページ数の多いサイトで検索エンジンに見せたくないページへのクロールの制御を目的に使用されます。