Techtouch Developers Blog

検索結果にウェブページを載せたくない、というモチベーションの元でのrobots.txt と X-Robots-Tag によるクローラー制御について。