🚦 AIクローラ制御
GPTBot・ClaudeBot・Google-Extended などの主要なAI（LLM）クローラごとに、許可（Allow）／拒否（Disallow）を切り替えて robots.txt 用の制御ルールを生成します。生成した内容はサイト直下の /robots.txt に追記することで有効になります。データはサーバーに送信されません。
| クローラ / User-agent | 許可 / 拒否 |
|---|
一覧にないクローラの User-agent 名を入力して追加できます。改行を含む文字などは自動的に除去されます。
この内容を robots.txt に追記してください。既存の robots.txt を置き換えるものではなく、AIクローラ向けの補足ルールです。
📘 使い方
- 一覧から各AIクローラの「許可」または「拒否」を選びます。切り替えると右側のルールが自動で更新されます。
- 「すべて許可」「すべて拒否」で一括切り替えもできます。一覧にないクローラは下部の入力欄から追加できます。
- 「コピー」または「ダウンロード（ai-robots.txt）」で生成内容を取得します。
- 取得したルールをサイト直下の /robots.txt に追記して反映します。このツールが自動でサイトへ適用するわけではありません。
AIクローラの種類と考え方
AI（LLM）向けクローラは大きく2種類に分かれます。
・学習用クローラ（GPTBot・ClaudeBot・CCBot・Bytespider・Google-Extended など）：収集した内容が生成AIの学習データに利用され得ます。自社コンテンツをLLMの学習に使われたくない場合はこれらを「拒否」にします。
・ユーザー起点の取得UA（ChatGPT-User・Claude-User/Claude-Web・PerplexityBot・OAI-SearchBot など）：利用者の質問に答えるためリアルタイムにページを取得します。AIの回答内で引用・参照されたい（AEO/GEO）場合は「許可」にしておくのが有利です。
目的に応じて、学習は拒否しつつ引用は許可する、といった使い分けができます。効果を得るには生成ルールを /robots.txt に必ず反映してください（ダウンロードしただけでは適用されません）。
❓ よくある質問
AIクローラをブロックするとSEOに影響しますか？
通常の検索エンジンのクローラ（Googlebot・Bingbot）はこれらのAIクローラとは別物のため、AIクローラを拒否しても検索順位そのものへの直接的な影響は基本的にありません。ただし、AI検索や生成AIの回答内で自社ページが引用・参照される機会（AEO/GEO）には影響し得ます。検索流入を維持しつつAIの学習利用だけを避けたい場合は、学習用クローラのみを拒否するのがおすすめです。
GPTBotとChatGPT-Userの違いは？
GPTBotはOpenAIが学習・モデル改善のためにサイトを巡回する学習用クローラです。一方ChatGPT-Userは、利用者がChatGPTのブラウジングやプラグイン機能を使った際に、その質問に答えるためリアルタイムでページを取得するUAです。学習にはGPTBot、ユーザーの都度アクセスにはChatGPT-Userが使われるため、「学習は拒否したいがユーザーの参照は許可したい」といった使い分けが可能です。
robots.txtの指示に法的拘束力はありますか？
robots.txtはあくまで運営者間の「任意の合意（お願い）」に基づく仕組みで、法的な強制力はありません。主要なAI事業者の多くは記載を尊重しますが、悪意あるクローラや一部のボットは指示を無視してアクセスする可能性があります。確実に遮断したい場合は、サーバー側でのUA判定やアクセス制限など別の手段と併用してください。
設定はすぐに反映されますか？
即時ではありません。生成したルールを /robots.txt に反映した後、各クローラが次回サイトを巡回する際に読み込まれて有効になります。反映のタイミングはクローラごとに異なり、数時間〜数日かかる場合があります。