クローラーとは、検索エンジンがWeb上のページを自動的に巡回し、情報を収集するプログラムのこと。クローラーの基本的な仕組みや、巡回されやすいWebサイトの特徴を紹介します。