Googlebot を含む Google クローラーの概要、ユーザー エージェント（User Agent）一覧を確認できます。robots.txt や robots メタタグのユーザー エージェントについても解説します。