robots.txt の概要とガイド | Google 検索セントラル | ドキュメント | Google for Developers
robots.txt(ロボット テキスト)とは、ロボットのクロールを管理するためのファイルです。robots.txt ファイルの概要、使用目的、作り方や制限事項について説明します。