robots.txt ファイルを置く場所、構文やさまざまなルール、また、Google が robots.txt の指定を解釈する仕組みについて紹介します。