AIクローラーの急増よって発生する、サーバー負荷やコストの増大、パフォーマンス低下などの問題を掘り下げ、現代に適した対処法をご紹介します。