Googleのジョン・ミューラー）氏からの説明に補足を交えながら、一般的に言える、robots.txtを使う場面と使わない場面について解説する。