『Crawl-Delayでクローラーの巡回頻度を調整する』

各検索エンジンのREP(ロボット排除プロトコル)について、以前「Yahoo!、Google、Live SearchがREPの共通仕様を発表」で説明しました。そ…