AI のクローラーは、学習用・検索用・利用者の依頼で取りに来るもの、の 3 種類に分けて考えます。 AI 検索の答えに出たいなら、検索用のクローラー（OAI-SearchBot・Claude-SearchBot・PerplexityBot など）は止めないでください。学習用のボット（GPTBot・ClaudeBot・Google-Extended など）を止めるかどうかは方針の選択です。OpenAI と Google は、学習用の設定は検索とは別だと説明しています。
3 つの種類
| 種類 | 何のために来るか | 主な名前 |
|---|---|---|
| 学習用 | AI のモデルの学習に使うデータを集める | GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended（Google） |
| 検索用 | AI 検索の答えに出すページの索引を作る | OAI-SearchBot（OpenAI）・Claude-SearchBot（Anthropic）・PerplexityBot（Perplexity） |
| 利用者の依頼 | 利用者が AI に頼んだときに、その場でページを取りに来る | ChatGPT-User（OpenAI）・Claude-User（Anthropic）・Perplexity-User（Perplexity） |
robots.txt では、名前（User-Agent）ごとに許可と拒否を書けます。OpenAI は、それぞれの設定は独立していて、検索用を許可したまま学習用だけを止められると説明しています。
各社の説明
OpenAI
- GPTBot: 生成 AI のモデルの学習に使う可能性のあるページを集めます。止めると、そのサイトの中身を学習に使わないという意思表示になります
- OAI-SearchBot: ChatGPT の検索の機能で、サイトを結果に出すために使います。止めたサイトは ChatGPT の検索の答えに出ません（案内のためのリンクとしては出ることがあります）
- ChatGPT-User: 利用者の操作をきっかけに動き、自動で Web を巡回はしません。利用者が始めた操作なので、robots.txt の規則が当てはまらない場合がある、と書かれています
出典: Overview of OpenAI Crawlers
Anthropic
- ClaudeBot: 学習に使う可能性のある Web の中身を集めます。止めると、以後のそのサイトの中身を学習のデータから外す意思表示になります
- Claude-SearchBot: 検索のための索引づくりに使います。止めると、検索の結果での見え方や正確さが下がる場合があります
- Claude-User: 利用者が Claude に質問したときに、サイトを取りに来ます
Anthropic は、3 つとも robots.txt の指示を守ると書いています。OpenAI や Perplexity と違い、利用者の依頼で取りに来るものも robots.txt で止められる、という説明です。
出典: Does Anthropic crawl data from the web, and how can site owners block the crawler?（2026-04-07）
Perplexity
- PerplexityBot: Perplexity の検索の結果にサイトを出し、リンクするために使います。AI のモデルの学習には使わない、と書かれています
- Perplexity-User: 利用者の操作を支えるために取りに来ます。利用者が頼んだ取得なので、robots.txt の規則を基本的に無視する、と書かれています
- Google-Extended: Google が取得したページを、Gemini のモデルの学習と、Gemini アプリなどの「グラウンディング」（答えの根拠づけ）に使ってよいかを決めるための名前です。Google は、Google-Extended は Google 検索への掲載にも順位にも影響しない、と書いています
- AI Overviews と AI モードは Google 検索の一部です。Google は、検索での AI の機能への取得は、Googlebot に対する robots.txt の指示で管理する、と説明しています
出典: Google の一般的なクローラー（2026-07-14 更新）・AI features and your website
robots.txt の書き方の例
検索用は許可し、学習用だけを止める場合の例です。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.co.jp/sitemap.xml
OAI-SearchBot・Claude-SearchBot・PerplexityBot は、自分の名前の段が無ければ User-agent: * の段に従います。OpenAI と Perplexity は、変更が反映されるまで 24 時間ほどかかることがあると書いています。
robots.txt の外で止めていないか
robots.txt で許可していても、WAF やボット対策のサービスが、名乗って来るクローラーを拒否していることがあります。この場合、robots.txt を見ただけでは分かりません。Tooru は、TooruBot が拒否されたとき、点の低いページとしてではなく「取得を拒否された」と分けて示します。
Tooru の配点
Tooru は、検索用と利用者の依頼のクローラーを受け入れているかに点を付けています（OAI-SearchBot と PerplexityBot は各 2 点、Claude-SearchBot と Claude-User は各 1 点）。学習用のボットを止めるかどうかは方針なので、点に入れていません。詳しくは評価基準。
変更の記録
- 2026-10-09: 公開