robots.txt の書き方、設定と送信 | Google 検索セントラル | ドキュメント | Google for Developers
robots.txt ファイルはサイトのルートにあります。robots.txt ファイルの作成方法、例、robots.txt のルールを紹介します。