AIクローラーとは：GPTBotなどをrobots.txtで扱う方法

この記事の要点：

• AIクローラーとは、AIの会社がモデルの学習や、AIの回答・検索のためにウェブページを取得するプログラムです。役割は「学習用」「検索用」「利用者の操作時の取得」の3つに分けて考えます。
• 多くの会社は役割ごとに名前を分けています。例：OpenAIはGPTBot・OAI-SearchBot・ChatGPT-User、AnthropicはClaudeBot・Claude-SearchBot・Claude-User です。学習用を止めても、検索用は止まりません。
• GoogleのGoogle-Extendedは、Geminiの学習などへの利用を管理する指定で、Google検索への掲載や順位には影響しません。Google検索のAIによる概要に使われたくない場合は、robots.txtではなくnosnippetなどで扱います。Gemini アプリと検索の AI 機能で、Google-Extended が効く範囲の違いはGemini と AI モードの比較で表にしています。
• 利用者の操作で取得するもの（ChatGPT-User、Perplexity-User、Googleの利用者の操作による取得など）は、robots.txtが当てはまらない場合があると各社が説明しています。扱いは会社ごとに違います。
• 設定の後は、robots.txtが200で返っているか、アクセスログにどの名前が来ているか、そのアクセスが本物か（公開のIPアドレスとの照合）を確かめます。

AIクローラーとは：3つの役割で分けて考える

AIクローラーとは、生成AIのサービスを提供する会社が、ウェブページを自動で、または利用者の依頼を受けて取得するためのプログラムです。検索エンジンのクローラーと同じく、アクセスのときに「ユーザーエージェント」という名前を名乗ります。

同じ会社のクローラーでも、目的が違えば止めたときの影響も違います。設定を考えるときは、まず次の3つに分けます。

検索エンジンのクローラーの基本は「クローラーとは」で説明しています。この記事では、AIの会社のクローラーを会社をまたいで整理し、方針ごとの設定と確かめ方を扱います。

主なAIクローラーの名前と役割の一覧

次の表は、各社の公式の説明で確かめられた名前と役割だけをまとめたものです（2026年10月に確認）。名前や扱いは変わることがあるため、設定の前に参考情報の各社のページで最新の説明を確かめてください。

OpenAIの3つの名前の使い分けは「ChatGPTの検索機能とサイト側の対応」で詳しく説明しています。

ここで押さえたいのは、「利用者の操作時」の扱いが会社ごとに違うことです。Anthropicは、Claude-Userを止めると利用者の依頼でも取得しないと説明しています。OpenAIとPerplexityは、利用者の操作による取得にはrobots.txtが当てはまらない場合があるとしています。Googleも、利用者の操作による取得は一般にrobots.txtを無視すると説明しています。

止めると何が起きるか：Google検索への影響はあるか

いちばん多い心配は「AIのクローラーを止めると、Google検索の順位が下がるのではないか」というものです。Googleの説明では、答えは次のとおりです。

• Google-Extendedを止めても、Google検索には影響しない：Googleは、Google-ExtendedがGoogle検索に含まれるかどうかに影響せず、順位付けの要素でもないと説明しています。
• Googlebotを止めると、Google検索のAI機能にも出なくなる：AIによる概要やAIモードは、Google検索のインデックスにもとづきます。Googlebotを止めれば、通常の検索結果ごと表示されなくなります。
• ほかの会社のクローラーは、Google検索とは関係しない：GPTBotやClaudeBotを止めても、Googleのクロールや順位は変わりません。

Google検索のAIによる概要やAIモードで、ページの内容を使われたくない場合は、robots.txtではなく、nosnippetやdata-nosnippetなどの検索結果での表示を制限する指定を使います。これらは通常の検索結果の見え方にも影響します。指定の違いはAI検索とはの記事で表にしています。

目的別のrobots.txtの書き方

robots.txtは、サイトのいちばん上の階層（例：https://www.example.com/robots.txt）に置き、名前ごとにグループを作って書きます。サブドメインごとに別のファイルが必要です。書き方の基本はrobots.txtの書き方と記述例を参照してください。以下はすべて説明用の例です。

例1：すべてのAIクローラーを受け入れる

何も書かなければ、許可したのと同じ扱いです。AIの検索での紹介や、学習での利用を妨げたくない場合は、特別な記述はいりません。

User-agent: *
Allow: /

例2：学習には使われたくないが、AIの検索には表示されたい

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

OAI-SearchBot・Claude-SearchBot・PerplexityBot・Googlebot・Applebotは「*」のグループに従うため、取得は続きます。CCBotの記録は検索のためにも使われることがあると、Common Crawl自身が説明しています。止めるかどうかは、学習への利用をどこまで避けたいかで判断します。

例3：AIの検索にも学習にも使われたくない（Google検索には出す）

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Googleのrobots.txtの説明では、複数のUser-agentの行を続けて書き、1つのルールをまとめて当てはめられます。ほかの会社のクローラーも同じ読み方をするかは、各社の説明で確かめられなかったため、確実にしたい場合は名前ごとにグループを分けて書きます。また、ChatGPT-UserやPerplexity-Userのように、robots.txtが当てはまらない場合があるものは、この方法では止めきれません。

例4：一部のフォルダだけ、学習用に取得させない

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /members/
Disallow: /reports/

User-agent: *
Allow: /

会員向けの資料や有料のレポートなど、守りたい部分がはっきりしている場合は、サイト全体ではなく範囲を絞ったほうが、ほかのページへの影響を小さくできます。ただし、robots.txtは公開されたファイルで、誰でも読めます。止めたい場所の名前を書くこと自体が、その場所を知らせることにもなります。本当に守りたい内容は、ログインなどの仕組みで守ります。

robots.txtの変更が反映されるまでに、OpenAIは24時間ほど、Perplexityは最大24時間かかることがあると説明しています。

GPTBotをブロックする方法：robots.txtの書き方と確かめ方

GPTBot（OpenAIの学習用のクローラー）をブロックするには、サイトのrobots.txtに「User-agent: GPTBot」と「Disallow: /」の2行を書きます。OpenAIは、GPTBotを許可しないことは、そのサイトの内容を生成AIの基盤モデルの学習に使わないでほしいという意思表示になると説明しています（2026年10月14日に確認）。

User-agent: GPTBot
Disallow: /

OpenAIの説明では、GPTBot・OAI-SearchBot・ChatGPT-Userの指定はそれぞれ独立しています。GPTBotだけを止めても、ChatGPTの検索での表示（OAI-SearchBot）は止まりません。検索にも出したくない場合は、OAI-SearchBotのグループも足します。

1. 今のrobots.txtを開く：https://自社のドメイン/robots.txt をブラウザで開き、GPTBotの行がすでにあるか、「User-agent: *」のグループがどう書かれているかを見ます。当サイト（seoagent.jp）のrobots.txtは、2026年10月14日の時点でAIクローラーを個別には止めていません。
2. 2行を足して200で返す：ファイルを書き換えたら、curl -sI https://自社のドメイン/robots.txt で200が返ることを確かめます。
3. 反映を待つ：OpenAIは、検索の結果についてはrobots.txtの更新から反映まで24時間ほどかかると説明しています。
4. ログで確かめる：GPTBotを名乗るアクセスが続く場合は、OpenAIが公開しているgptbot.jsonのIPアドレスと照らし、本物かを確かめます。

止めたい範囲が一部のフォルダだけなら、「Disallow: /」の代わりにそのフォルダを書きます。すでに学習に使われた内容が消えるわけではない点も、判断の前に押さえておきます。

どの方針を選ぶか：判断の目安

正解はサイトの目的によって変わります。次の問いに順に答えると、方針を決めやすくなります。

例：製品の紹介と事例を載せている会社のサイトなら、AIの回答で紹介される機会を残すため検索用は許可し、学習用は社内の方針で決める、という分け方が考えられます。どの方針でも、決めた理由と日付を社内の記録に残しておくと、担当が替わっても設定の意図が分かります。

設定の後に確かめること：robots.txtの状態とアクセスログ

書いたつもりでも、ファイルが正しく配信されていなければ意味がありません。次の順に確かめます。

1. robots.txtが200で返っているか：curl -sI https://www.example.com/robots.txt で番号を確かめます。Googleの説明では、robots.txtが4xxのときは「制限なし」、5xxが続くときはクロールを止めるなど扱いが変わります。ほかの会社の扱いは公開されていない部分もあるため、まず200で返すことが前提です。
2. Google向けの読み方を確かめる：Search Consoleのrobots.txtレポートで、Googleが取得した内容と取得の状態を見ます。ほかの会社のクローラーの解釈は、このレポートでは分かりません。
3. アクセスログで名前ごとの件数と番号を見る：サーバーのアクセスログで、AIクローラーの名前を含む行を数えます。
4. 本物かを確かめる：ユーザーエージェントは誰でも名乗れます。件数の多いものは、各社が公開しているIPアドレスの一覧と照らし合わせます。

# 例：combined形式のaccess.logで、AIクローラーの名前ごとの件数を数える
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Applebot|CCBot" access.log 
  | sort | uniq -c | sort -rn

# 例：GPTBotに返したステータスコードの内訳（9列目が番号の場合）
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

ログの見方は次のように読み取ります。

照合に使う一覧は、OpenAIは名前ごとのJSONファイル（gptbot.json・searchbot.json・chatgpt-user.json）、Perplexityはperplexitybot.jsonとperplexity-user.jsonを公開しています。Googleは、逆引きDNSと公開のIPアドレスの一覧の両方の方法を案内しています。Common Crawlは、専用のIPアドレスの範囲と逆引きDNSで確かめられると説明しています。

robots.txtで止まらないものへの対処

robots.txtは、クローラーに「お願い」を伝える仕組みで、守るかどうかはクローラーの側に任されています。止まらないアクセスには、次のように分けて対処します。

• 利用者の操作による取得：会社によってはrobots.txtの対象外です。避けたい内容は、ログインや有料の壁の内側に置きます。
• 名前を偽ったアクセス：公開のIPアドレスと一致しないアクセスは、その会社のクローラーではありません。サーバーやCDNの設定で、IPアドレスや振る舞いをもとに制限します。
• 名乗らないクローラー：robots.txtでは区別できません。アクセスの量が問題なら、サーバーやCDNの側で回数の制限をかけます。

なお、Anthropicは、学習から外したい場合にIPアドレスを止める方法は、正しく働かなかったり、長く続く保証にならなかったりするとして、robots.txtで指定するよう案内しています。正規のクローラーにはrobots.txt、偽物や名乗らないアクセスにはサーバー側の制限、と使い分けます。

AI向けのファイルとして話題のllms.txtは、サイトの要点をAIに伝えるための提案中の形式で、クロールの許可や禁止を伝えるものではありません。AIクローラーを止めたい・許可したいという目的には、robots.txtを使います。

よくある質問

GPTBotを止めると、ChatGPTの回答に自社が出なくなりますか？

OpenAIの説明では、GPTBotは学習用で、ChatGPTの検索での表示はOAI-SearchBotで管理します。GPTBotだけを止めても、検索での表示の判断には使われません。ただし、すでに学習に使われた内容が消えるわけではありません。

robots.txtに何も書いていない場合はどうなりますか？

robots.txtで止めていなければ、許可したのと同じ扱いです。AIクローラーについて方針を決めていない場合は、まず今の状態を把握し、検索用と学習用を分けて決めます。

Google-Extendedを止めると、AIによる概要に出なくなりますか？

出なくなるわけではありません。AIによる概要やAIモードはGoogle検索の一部で、Googlebotの取得にもとづきます。表示での使われ方を制限したい場合は、nosnippetなどの指定を使います。

新しいAIクローラーが出てきたら、どう知ればよいですか？

アクセスログで見慣れない名前が増えていないかを定期的に確かめ、名前が分かったら、その会社の公式の説明で役割とrobots.txtの扱いを確かめます。名前だけを見て止めると、検索用を誤って止めることがあります。

SEOAGENTでできること

SEOAGENTの「AI検索・表示速度の診断」では、robots.txtを1日1回読み、検索の表示に使われるクローラーと、学習に使われるクローラーを分けて示します。診断の機能であり、robots.txtやサーバーの設定を自動で書き換えることはありません。

• AI検索・表示速度の診断
• SEO分析・効果測定

AIの回答での扱いに関する記事は「LLMO対策の記事一覧」にまとめています。

参考情報

• OpenAI：Overview of OpenAI Crawlers
• Anthropic：Does Anthropic crawl data from the web, and how can site owners block the crawler?
• Google：Google の一般的なクローラー（Google-Extended を含む）
• Google：ユーザーによってトリガーされるフェッチャー
• Perplexity：Perplexity Crawlers
• Apple：About Applebot
• Common Crawl：FAQ