はじめに AWSは、アメリカを拠点とするAIスタートアップのPerplexityに対して、クロールを望まないウェブサイトのコンテンツをクロールしていた件について、調査を開始しました。 上記WIREDのブログ記事を踏まえて、WIREDはrobots.txtのファイルを...