🤖 robots.txt生成
User-agentグループやAllow・Disallowルール、Crawl-delay、Sitemapを画面上で追加するだけで、正しい書式のrobots.txtをリアルタイムに生成します。データはサーバーに送信されません。
クローラ（User-agent）ごとに、許可（Allow）・拒否（Disallow）するパスを設定します。「*」はすべてのクローラを表します。
robots.txtの末尾に「Sitemap:」行として追加されます。複数指定する場合は改行で区切ってください。
生成されたテキストは、そのままサイトのルートに robots.txt として設置できます。
📘 使い方
- 「User-agent」に対象クローラ名を入力します（すべて対象なら「*」のまま）。
- 「＋ ルール追加」で許可（Allow）・拒否（Disallow）とパスを追加します。例：Disallow: /admin/
- 必要に応じてCrawl-delay（クロール間隔・秒）を設定します。対応しないクローラもあります。
- 複数のクローラを個別に制御する場合は「＋ User-agentグループ追加」でグループを増やします。
- Sitemapのフルパスを入力し、「コピー」または「ダウンロード」で robots.txt を取得します。
❓ よくある質問
Disallowを空にするとどうなりますか？
Disallow: を空（パスなし）にすると「拒否するものは無い＝すべて許可」を意味します。逆に Disallow: / はサイト全体のクロールを拒否します。初期状態は「User-agent: * / Disallow:（空）」で、すべてのクローラにすべてを許可する設定です。
robots.txtでページを完全に隠せますか？
いいえ。robots.txtはあくまでクロールを制御するもので、非公開を保証しません。URLが他所からリンクされていればインデックスされる場合があります。検索結果から確実に除外したい場合は noindex メタタグやアクセス制限を併用してください。
Sitemapは必ず書く必要がありますか？
必須ではありませんが、記載するとクローラがサイトマップを見つけやすくなります。Sitemap: にはドメインを含む絶対URL（https://example.com/sitemap.xml）を指定してください。
Crawl-delayはGoogleに効きますか？
Googlebotは Crawl-delay を無視します。BingやYandex等の一部クローラでは有効です。Googleのクロール頻度はSearch Console側で調整してください。