⇒【東証プライム企業も多数利用!】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは?
【PR】楽天市場 【PR】じゃらん 【PR】一休 【PR】Qoo10 【PR】Abema
「ChatGPTには引用されるのに、Perplexityでは全く出てこない」「Copilotに聞いてもうちのサイトが出てこない」——AI検索まわりの施策を担当していると、こうしたズレに何度も出くわします。原因の多くは、そもそも各サービスが「別のクローラー」で「別のロジック」で情報を集めているという単純な事実を、運用側が意識できていないことにあります。
この記事では、Perplexity・Copilot(Bing)・Gemini(Google)・ChatGPT(OpenAI)の4サービスについて、①クローラー名(user-agent)、②robots.txtでの制御方法、③引用ロジックの違いを、各社公式ドキュメントに基づいて比較表で整理します。自社サイト運営者が「どのAI検索から優先的に引用されるべきか」「今の設定で機会損失していないか」を判断できる実務レベルの情報を目指しました。
なぜ「AI検索」と一括りに語れないのか
AI検索と呼ばれるサービス群は、裏側の情報収集の仕組みがサービスごとに大きく異なります。大きく分けると、次の3パターンが混在しています。
- 専用クローラーが自律的に巡回して索引を作るタイプ(PerplexityBot、OAI-SearchBotなど)
- 既存の検索エンジンのインデックスをそのまま流用するタイプ(Copilotの多くの回答はBing検索インデックスに依存)
- クローラーそのものは既存のものを使い、そのデータの「AIでの使い道」だけをrobots.txtの別トークンで制御するタイプ(GoogleのGoogle-Extended)
さらに「ユーザーが質問した瞬間にその場でページを取得しにいく」という第4のアクセスパターン(ChatGPT-User、Perplexity-Userなど)もあり、これは学習用クローラーとも検索用クローラーとも役割が異なります。この違いを理解しないまま「AIクローラーはとりあえず全部許可(またはブロック)」と設定すると、意図しない機会損失や情報流出につながります。

4サービス比較表|クローラー名・robots.txt制御・引用ロジック
各社の公式ドキュメント(2026年8月時点)をもとに整理した一覧です。
| サービス | 提供元 | 主なクローラー/エージェント名 | robots.txtでの役割分担 | 引用(回答内での出典表示)の仕組み |
|---|---|---|---|---|
| ChatGPT | OpenAI | GPTBot/OAI-SearchBot/ChatGPT-User | 3つが完全に独立。学習データ利用の可否と検索表示の可否を別々に設定できる | Web検索機能使用時、回答末尾に出典リンクを表示(任意表示) |
| Perplexity | Perplexity AI | PerplexityBot/Perplexity-User | 検索索引用クローラーと、ユーザー質問時のその場取得を分離 | 回答本文中に番号付きで出典を明示、最新性を優先 |
| Copilot | Microsoft | Bingbot(AI専用の独立したクローラーは公表されていない) | Bing検索とCopilotの回答がおおむね同じインデックスを参照。AI回答だけを個別にopt-outする公式な仕組みは無い | Bing検索結果に準じた形でリンク付きの回答を生成 |
| Gemini(AI Overviews含む) | Googlebot(通常クロール)+ Google-Extended(AI利用トークン) | Google-Extendedは独立したクローラーではなく、Googlebotが集めたデータを「Geminiの学習・グラウンディングに使ってよいか」だけを制御する追加トークン | Google検索のAI Overviewsは検索結果の一部としてリンク表示。Gemini単体アプリはGoogle-Extendedの許可状況に応じてグラウンディング対象が変わる |
この表からわかる通り、「AIクローラーをブロックする/しない」という二択で語れるのはPerplexityとChatGPTだけです。CopilotとGeminiは、既存の検索クローラーとの関係が入り組んでいるため、設定を誤ると検索順位そのものに影響が出るリスクがあります。
ChatGPT(OpenAI): 3つのエージェントを混同しない
OpenAIの公式ドキュメントでは、robots.txtで制御できるエージェントとして次の3つが明記されています(OpenAI Crawlers公式ドキュメント、2026年8月時点)。
- GPTBot: 生成AI基盤モデルの学習用データ収集。これをDisallowにしても、ChatGPTの検索結果に自社サイトが出なくなるわけではない。
- OAI-SearchBot: ChatGPTの検索機能で自社サイトを回答に表示させるためのクローラー。これをDisallowにすると検索の出典候補から外れる。
- ChatGPT-User: ユーザーが質問した瞬間にその場でページを取得するエージェント。自動巡回ではなく、ユーザー起点のアクセスのためrobots.txtのルールが適用されない場合がある。検索の表示可否の判定には使われない。
この3つを区別せず「GPTBotを許可したから検索にも出るはず」と考えるのはよくある誤解です。既存記事の「GPTBotなどAIクローラーはブロックすべき? robots.txt設定の考え方を徹底解説」ではGPTBotのブロック判断そのものを扱っているので、学習データ利用の是非を検討する際はそちらも参照してください。ChatGPTに引用されるための実践的な手順は「ChatGPTに自社サイトを引用させる方法|今日からできるLLMO実践5ステップ」で解説しています。
Perplexity: 番号付き引用と、ユーザー起点アクセスの扱い
Perplexityも公式ドキュメントでOpenAIと似た2系統の構成を採用しています(Perplexity Crawlers公式ドキュメント、2026年8月時点)。
- PerplexityBot: 検索結果にサイトを表示・リンクするための自律クロール。AI基盤モデルの学習には使われないと明記されている。
- Perplexity-User: ユーザーの質問に答えるためその場でページを取得するエージェント。ユーザー起点のリクエストのため、robots.txtのルールを一般的に無視すると公式に説明されている。
Perplexityは回答本文中に番号付きの出典([1][2]のような形式)を表示する点が特徴で、これはChatGPTの「回答末尾にまとめて出典を出す」方式とは見た目も引用のされ方も異なります。最新情報を優先して引用する傾向が強いため、更新日時が明確なコンテンツほど拾われやすい、という運用上の違いも出てきます。
Copilot(Bing): 「AIだけを個別に許可・拒否」できない事情
Copilotの回答はBing検索のインデックスに強く依存しており、OpenAIやPerplexityのように「学習用」「検索表示用」を別のuser-agentで独立して制御できる仕組みは、2026年8月時点で公式に案内されていません。robots.txtで制御できるのは基本的にBingbot単位で、Bing検索そのものへの表示可否とほぼ一体になっています。
実務上のポイントは次の2つです。
- Bingbotを全面ブロックすると、Bing検索での表示機会とCopilotでの引用機会の両方を同時に失う可能性が高い。
- Copilotでの引用状況を個別に確認する手段としては、Bing Webmaster Toolsのレポート機能でBingbotのクロール状況を確認するのが現実的なアプローチになる(Copilot単体の専用レポートが常に独立して提供されているとは限らないため、Bing検索側の指標と合わせて見る必要がある)。
「ChatGPTやPerplexityと同じ感覚でCopilot用のuser-agentだけを個別調整しよう」とすると、対応するタグが存在せず作業が止まってしまうケースがあるので、先に「Copilotは基本的にBing検索と運命共同体」という前提を持っておくと無駄な作業を避けられます。
Gemini(Google): Google-Extendedは「クローラー」ではない
4サービスの中で最も誤解されやすいのがGeminiです。「Geminiのクローラーの名前はGoogle-Extended」という説明を見かけますが、これは正確ではありません。Google公式のクローリングインフラのドキュメントでは、通常のクロール自体はこれまで通りGooglebotが行い、Google-Extendedは独立してサイトを巡回するクローラーではなく、Googlebotが集めた既存のデータを「Geminiアプリ・Vertex AI APIのGeminiの学習・グラウンディングに使ってよいか」だけを制御するrobots.txtの追加トークンだと説明されています。またGoogleは、Google-Extendedの設定がGoogle検索への掲載やランキングシグナルには影響しないことも明記しています(Google Search Central公式ドキュメント、2026年8月時点)。
ここでさらに実務担当者が混同しやすいのが「Gemini単体アプリでの回答」と「Google検索のAI Overviews」の違いです。AI Overviewsは検索結果の一部として提供される機能のため、通常のGooglebotのクロールを許可している時点で対象になり得ます。一方でGemini単体アプリ・Vertex AI側のグラウンディング利用だけを止めたい場合は、Google-Extendedを別途Disallowにする必要があります。「Google-Extendedを拒否したのにAI Overviewsに出続ける」という現象が起きるのはこのためで、不具合ではなく仕様です。
【自社運用者向け】まず確認すべき3つのアクション
比較表を眺めるだけでは施策になりません。企業のサイト運用者が実際に着手すべき順番を整理すると次の通りです。
- robots.txtの現状棚卸し: GPTBot/OAI-SearchBot/ChatGPT-User/PerplexityBot/Perplexity-User/Bingbot/Google-Extendedの7つのトークンが、それぞれ意図した状態(許可/拒否)になっているかを1つずつ確認する。特に「GPTBotだけ設定して満足している」ケースは、ChatGPT検索での表示機会(OAI-SearchBot)を見落としている可能性が高い。
- サーバーログでアクセス実態を確認する: robots.txtの設定は「意思表示」に過ぎず、実際に各クローラーが来ているかはアクセスログで確認する必要がある。特にCopilotはBingbotのログしか手がかりが無いため、Bing検索での表示状況と合わせて評価する。
- すでに引用されているかを計測する: 設定を整えるだけでなく、実際にAIに引用されているかどうかを継続的に確認する運用に落とし込む。Google検索のAI Overviewsについては「自社サイトがAIに引用されているか調べる方法|Search Console「生成AI機能」レポートの使い方」で確認手順を解説しているので、Gemini/AI Overviews側の実測にはこちらを併用してほしい。4サービス横断で「誰が自社を引用しているか」を洗い出す進め方は「AI検索の競合分析のやり方|「誰がAIに引用されているか」を調べる3ステップ」にまとめている。
特に見落とされがちなのが1番目です。robots.txtに「User-agent: *」でまとめて許可しているつもりでも、一部のAIエージェントは明示的な個別ブロックの有無に関わらず独自の解釈をする場合があるため、主要7トークンは名指しで確認するのが安全です。
どのサービスを優先すべきか
4サービスすべてに均等に力を入れる必要はありません。優先順位は「自社の想定読者がどのAI検索を使っているか」で決めるのが現実的です。一般消費者向け(BtoC)の情報発信であればChatGPTとGoogleのAI Overviewsの比重が大きく、専門職・ビジネス層(BtoB)向けであればPerplexityの利用率も無視できません。Microsoft 365を業務利用している企業の担当者層にリーチしたい場合はCopilot経由の接点も検討に値します。
ただし、どのサービスを優先するにしても、最初に着手すべきはrobots.txtの棚卸しと計測の仕組み化という「共通の土台」です。ここが整っていない状態で個別サービスの対策を進めても、そもそも入口でブロックされていて機会損失している、という事態に気づけません。
まとめ
Perplexity・Copilot・Gemini・ChatGPTは、同じ「AI検索」というくくりで語られがちですが、クローラーの構成もrobots.txtでの制御方法も引用ロジックも別物です。ChatGPTとPerplexityは学習用・検索用のエージェントを明確に分離しているのに対し、CopilotはBing検索と一体、Geminiに至ってはGoogle-Extendedというクローラーではないトークンが登場するなど、サービスごとに前提が異なります。まずは自社サイトのrobots.txtで7つの主要トークンの状態を棚卸しし、その上でログと引用実績を継続的に確認する運用に落とし込むことが、遠回りのようで最も確実な第一歩です。
⇒【東証プライム企業も多数利用!】最先端のSNSマーケティングツール「Tofu Analytics」、「InstantWin」とは?
【PR】楽天市場 【PR】じゃらん 【PR】一休 【PR】Qoo10 【PR】Abema