クローラーとは？Googlebotの仕組みと確認方法

この記事の要点：

クローラーは、ウェブページを自動で巡回して内容を取得するプログラムです。Google検索では、Googlebotに取得されないページは検索結果に出ません。
AIの会社は学習用と検索用でクローラーを分けており、学習を拒否することと、AIの検索で見つけてもらうことは別の設定です。
巡回しやすいサイトの条件は、内部リンクでつながっていること、サイトマップが最新であること、robots.txtで必要なURLを止めていないこと、サーバーが安定していること、同じ内容のURLが増え続けないことです。
取得の状況はSearch Consoleの「クロールの統計情報」で確かめ、URLごとに細かく見たいときはサーバーログを使います。本物のGooglebotかは逆引きDNSで確かめます。
クロールバジェットを意識する必要があるのは主に大規模なサイトで、数十〜数千ページのサイトではほぼ気にしなくて構いません。

クローラーとは

クローラーとは、ウェブ上のページを自動で巡回し、内容を取得するプログラムです。Google検索ではGooglebotがこの役割を担い、Googlebotに取得されないページは検索結果に出ません。

クローラーは「ボット」「スパイダー」とも呼ばれ、ページを取得することを「クロール」と言います。検索エンジンのほか、AIの回答や学習のための情報を集めるクローラー、SEOツールのクローラーなど、目的の違う多くのクローラーがサイトを訪れています。

クローラーの種類

サイトの運営で押さえておきたいのは、「誰の」「何のための」クローラーかという区別です。robots.txtで許可・拒否を書き分けるときも、この区別を使います。

Googleのクローラー

Googleは、用途ごとに名前の違うクローラーを使っています。robots.txtでは、この名前（ユーザーエージェントのトークン）を指定してルールを書きます。

名前	主な用途	運営で気にする点
Googlebot（スマートフォン用）	Google検索のためのクロール。多くのサイトでクロールの大半を占める	スマートフォン表示で本文・リンクが欠けていないか
Googlebot（パソコン用）	パソコン表示のページの取得	robots.txtではスマートフォン用と同じ「Googlebot」で指定される
Googlebot-Image	画像の取得（画像検索など）	画像のURLをrobots.txtで止めていないか
Google-InspectionTool	Search ConsoleのURL検査やリッチリザルトテストでの取得	テストのときだけ現れる
Google-Extended	取得のための名前ではなく、Geminiの学習などへの利用を制御するためのトークン	止めてもGoogle検索への掲載や順位には影響しないと説明されている

AIのクローラー（各社の公式の説明より）

AIの会社も、学習用と検索用で名前を分けたクローラーを公開しています。学習を拒否することと、AIの検索で見つけてもらえることは、別の設定です。

会社	学習に使うもの	検索・回答に使うもの	利用者の操作で取得するもの
OpenAI	GPTBot	OAI-SearchBot（ChatGPTの検索結果に出すためのクロール）	ChatGPT-User（利用者の依頼で取得。自動の巡回ではない）
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Google	Google-Extended（トークン）で制御	Googleの検索とAIによる概要はGooglebotが取得	―

例：「学習には使われたくないが、AIの検索では紹介されたい」という方針なら、robots.txtでGPTBotやClaudeBotを止め、OAI-SearchBotやClaude-SearchBotは止めない、という書き分けになります。利用者の操作で取得するものは、robots.txtのルールが当てはまらない場合があると各社が説明しています。名前や扱いは変わることがあるため、設定の前に各社の最新の説明を確かめます。

クロールから検索結果に出るまでの流れ

Google検索の仕組みは、大きく3つの段階に分かれます。クローラーが関わるのは最初の段階です。

段階	何が起きるか	サイト側で確かめること
クロール	Googlebotが新しいURLを見つけ、内容を取得する	リンクやサイトマップから見つけられるか、robots.txtで止めていないか
インデックス登録	取得した内容を表示（レンダリング）・理解し、Googleのデータベースに保存する	noindexが付いていないか、似たページと重なっていないか
検索結果の表示	検索された言葉に合うページを、インデックスの中から選んで表示する	検索した人の疑問に答える内容になっているか

Googlebotが新しいURLを見つける方法

Googlebotは、すでに知っているページに張られたリンクと、サイトから送られたXMLサイトマップをもとに新しいURLを見つけます。取得したページはChromeに近い仕組みで表示され、JavaScriptで出す内容も読み取られます。ただし、JavaScriptやCSSのファイル自体をrobots.txtで止めていると、その内容は読み取れません。

クロールされても、必ずインデックスに登録されるわけではありません。登録されない場合の確かめ方は「インデックスされない原因と確認手順」で説明しています。

クローラーが巡回しやすいサイトの条件

1. 内部リンクでページ同士がつながっている

どこからもリンクされていないページは、Googlebotが見つけにくくなります。新しい記事を公開したら、関連する既存の記事やカテゴリーページから内部リンクを張ります。リンクは<a href="/blog/example/">のように、href属性を持つaタグで書きます。クリックしたときの処理だけで移動するボタンは、リンクとして扱われない場合があります。

2. XMLサイトマップが最新で、送信されている

サイトマップは、クロールしてほしいURLの一覧です。Search Consoleの「サイトマップ」から送信し、送信済みのサイトマップの「検出されたページ」の数が、実際の公開ページ数と大きくずれていないかを見ます。作り方は「XMLサイトマップとは」で説明しています。

当サイト（seoagent.jp）では、SEOプラグインのサイトマップが古いキャッシュのままで、4件しか載っていない状態がありました。キャッシュを作り直し、反映のたびに作り直すようにしたところ、サイトマップの件数は72件になりました。プラグインに任せていても、件数は定期的に確かめる価値があります。

3. robots.txtで必要なURLを止めていない

robots.txtは、クローラーに取得してほしくないURLを伝えるファイルです。誤って記事のディレクトリやCSS・JavaScriptを止めていないかを確認します。書き方はrobots.txtとはを参照してください。

4. サーバーが速く、エラーが少ない

Googleは、サーバーに負担をかけないようクロールの量を調整します。応答が遅い、5xxエラーが続くといった状態では、クロールが控えめになります。逆に、応答が速く安定していれば、より多くのURLを取得できます。

5. 同じ内容のURLが増え続けない

絞り込み条件や並び替えのパラメータで、同じ内容のURLが際限なく作られると、Googlebotがそれらの取得に時間を使います。例：ECサイトの一覧で「?color=red&sort=price」のような組み合わせが無数にできる場合、正規のURLを決め、不要な組み合わせへのリンクを減らします。

Search Consoleの「クロールの統計情報」で確かめる

Googlebotがサイトをどれだけ、どのように取得しているかは、Search Consoleの「クロールの統計情報」レポートで確かめられます。サーバーの記録（ログ）を見られない環境でも使えるため、まずはここから始めます。

開き方

Search Consoleで対象のプロパティを選びます（ドメインプロパティか、サイトのルートのURLプレフィックスプロパティで使えます）。
左のメニューの一番下にある「設定」を開きます。
「クロール」の欄にある「クロールの統計情報」の「レポートを開く」を選びます。

見る項目

項目	分かること	見るポイント
合計クロールリクエスト数	Googlebotが送ったリクエストの数の推移	急に減った日がないか、サイトの変更日と重なっていないか
合計ダウンロードサイズ	取得したデータの量	画像やスクリプトが急に重くなっていないか
平均応答時間	サーバーが応答するまでの時間	上がり続けていないか
ホストのステータス	robots.txtの取得、DNSの解決、サーバーへの接続に問題がなかったか	問題が出た日がないか
レスポンス別	200・301・404・5xxなど、返したステータスコードの割合	5xxや404の割合が増えていないか
目的別	新しいURLの「検出」か、既知のURLの「更新」か	新しい記事を公開しているのに検出がほとんど無いか
Googlebot の種類別	スマートフォン用・パソコン用・画像用などの割合	スマートフォン用が中心になっているか

各項目を選ぶと、該当するURLの例が表示されます。例えば「レスポンス別」で「サーバーエラー（5xx）」を選ぶと、エラーを返したURLの例を確かめられます。

判断の目安

見えた状態	考えられること	次にすること
リクエスト数が急に減り、平均応答時間が上がった	サーバーが遅くなり、Googleがクロールを控えた	サーバーの負荷や、プラグイン・設定の変更日を確かめる
ホストのステータスでrobots.txtの取得に問題が出ている	robots.txtがエラーを返し、クロールが止まりうる	robots.txtのURLを開き、200か404で返るかを確かめる
404の割合が高い	削除したページへのリンクやサイトマップの記載が残っている	リンク元とサイトマップを直す。移転したページなら301リダイレクト
「検出」がほぼ無い	新しいURLが見つけられていない	内部リンクとサイトマップに新しいURLが入っているかを確かめる
特に変化が無い	小さなサイトでは普通の状態	月に1回程度の確認で十分

サーバーログでGooglebotのアクセスを読む

サーバーのアクセスログには、Googlebotがいつ、どのURLを取得し、何を返したかが1件ずつ残ります。クロールの統計情報より細かく、URLごとの状況を確かめたいときに使います。ログの場所はサーバーや管理画面によって違うため、レンタルサーバーの場合はその説明を確かめます。

ログの1行の読み方

例：多くのサーバーで使われる形式（combined形式）のログでは、Googlebotのアクセスは次のように記録されます。

66.249.66.1 - - [08/Oct/2026:10:15:32 +0900] "GET /blog/example/ HTTP/1.1" 200 48213 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

部分	意味
66.249.66.1	アクセス元のIPアドレス
[08/Oct/2026:10:15:32 +0900]	取得した日時
“GET /blog/example/ HTTP/1.1”	取得したURL（パス）
200	サーバーが返したステータスコード
48213	返したデータの大きさ（バイト）
最後の “Mozilla/5.0 … Googlebot/2.1 …”	ユーザーエージェント。「Android」「Mobile」を含むのでスマートフォン用のGooglebot

集計のコマンド例

例：ログのファイル名がaccess.logで、上の形式の場合、次のように集計できます。

# Googlebotが受け取ったステータスコードの件数
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

# Googlebotがよく取得しているURLの上位20件
grep "Googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

例：会社案内サイトで、Googlebotの取得の多くが「/wp-admin/admin-ajax.php」や検索結果ページ「/?s=」に向いていた場合、本来見てほしい記事やサービスのページに時間が使われていない可能性があります。そうしたURLへのリンクの出し方や、robots.txtでの扱いを見直すきっかけになります。

本物のGooglebotか確かめる（逆引きDNS）

ユーザーエージェントは誰でも名乗れるため、「Googlebot」と書かれたアクセスがすべて本物とは限りません。Googleは、IPアドレスからホスト名を調べ（逆引き）、そのホスト名からIPアドレスを調べ直す（正引き）方法を案内しています。

ログのIPアドレスで逆引きします。
ホスト名がgooglebot.com・google.com・googleusercontent.comのいずれかで終わるかを確かめます。
そのホスト名で正引きし、元のIPアドレスと一致するかを確かめます。

$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

これはGoogleの説明にある例です。両方が一致すれば、Googleのクローラーと判断できます。件数が多い場合は、Googleが公開しているクローラーのIPアドレスの一覧（JSONファイル）と照らし合わせる方法もあります。偽物のアクセスが多く負荷になっている場合は、Googlebotではなく、そのIPアドレスへの対処として扱います。

クロールバジェットを気にすべきサイト

クロールバジェットとは、Googleが1つのサイトのクロールに使える時間や量の目安です。サーバーが耐えられる量と、Googleがそのサイトを取得したい度合いの両方で決まります。

Googleは、これを意識する必要があるのは主に規模の大きいサイトだと説明しています。例として、100万ページを超えて週に1回程度内容が変わるサイトや、1万ページを超えて毎日のように内容が変わるサイトが挙げられています。

サイトの状況	判断
数十〜数千ページの企業サイト・ブログ	クロールバジェットはほぼ気にしなくてよい。サイトマップと内部リンクを整える
新しいページが何週間も「検出」されない	バジェットより先に、リンクとサイトマップ、robots.txt、noindexを確かめる
商品の絞り込みなどでURLが数十万以上ある	不要なURLの組み合わせを減らし、クロールの統計情報とログで取得先を確かめる

よくある失敗と直し方

起きること	原因	直し方
サイト全体が検索結果に出ない	制作中のrobots.txtの「Disallow: /」や、全ページのnoindexが残っている	robots.txtとページのmetaタグを確かめ、公開用に戻す
robots.txtで止めたのに検索結果に残る	robots.txtはクロールを止めるもので、インデックスを確実に止めるものではない	検索結果から外したいページはnoindexにし、クロールは許可する
本文がインデックスされない	本文を出すJavaScriptファイルをrobots.txtで止めている	URL検査の「クロール済みのページを表示」で、取得されたHTMLを確かめる
クロールが急に減った	サーバーエラーや応答の遅れが続いた	クロールの統計情報のホストのステータスと平均応答時間を確かめる
AIの検索から見つけられない	学習用と一緒に、検索用のAIクローラーも止めている	robots.txtで学習用と検索用を分けて書く

このほかのテクニカルSEOの記事は「テクニカルSEOの記事一覧」にまとめています。

よくある質問

クローラーはどのくらいの頻度で来ますか？

決まった頻度はありません。更新の多いページや、リンクの多いページほど頻繁に取得される傾向があります。特定のページを早く見てほしいときは、Search Consoleの「URL検査」でURLを調べ、「インデックス登録をリクエスト」を使えます。同じURLを何度もリクエストしても早くはなりません。

新しいサイトにクローラーが来ないときは、どうすればよいですか？

公開したばかりのサイトは、外部からのリンクが無く、Googleがまだ存在を知らないことがあります。Search Consoleにサイトを登録してサイトマップを送信し、トップページのURL検査でインデックス登録をリクエストします。あわせて、制作中に付けたnoindexやrobots.txtの「Disallow: /」が残っていないかを確かめます。

クローラーがサーバーに負荷をかけることはありますか？

Googlebotは負荷を見ながら量を調整します。急いで減らしたい場合、Googleは一時的に500・503・429のステータスコードを返す方法を案内していますが、長く続けるとページが検索結果から外れるおそれがあります。原因が偽物のクローラーや別のボットでないかを、先にログで確かめます。

SEOツールのクローラーを止めると、検索に影響しますか？

SEOツールのクローラーは、Google検索のGooglebotとは別のものです。robots.txtで止めてもGoogle検索への掲載には関係しませんが、そのツールでサイトを分析できなくなります。止める場合は、各ツールが公開しているユーザーエージェントの名前を確かめて、その名前だけを指定します。

SEOAGENTでできること

SEOAGENTでは、サイトのrobots.txtを1日1回読み、検索の表示に使われるクローラーと学習に使われるクローラーを分けて設定を確認できます。診断の機能であり、robots.txtやサーバーの設定を自動で変更するものではありません。新しい記事への内部リンクの候補を確かめ、原稿に入れることもできます。

クローラーとは？Googlebotの仕組みとクロールの確認方法