Node.js + Puppeteerで noindex ページを検出し、インデクシングを回避するというお話 

こんにちは、あなたを追跡しないポルノ動画検索エンジン、Sae-Porns管理人のにょろりんこです。 検索エンジンを作成する際、あなたのクローラーは noindex をちゃんと避けてますか? クローリング/インデクシングする時に、気をつけなければいけないこと。それは noindex 設定になっているページをうっかりインデクシング…