robots.txt（ロボット テキスト）とは、ロボットのクロールを管理するためのファイルです。robots.txt ファイルの概要、使用目的、作り方や制限事項について説明します。