Robots.txt ジェネレーター

GeekFormat について

robots.txt ルールジェネレーター

複数行の Allow / Disallow / Sitemap をサポートし、標準形式を自動的にアセンブルします。

ルール設定

User-agent

Host

Allow（行ごとに1つ）

Disallow（行ごとに1つ）

Sitemap（行ごとに1つ）

生成結果

User-agent: *
Allow: /
Disallow: /admin
Disallow: /private

Sitemap: https://geekformat.com/sitemap.xml
Host: geekformat.com

GeekFormat のオンライン Robots.txt ジェネレーターは、視覚的なフォームから User-agent、Allow/Disallow ルール、Sitemap 宣言、Host ディレクティブを設定し、Robots Exclusion Protocol 規格に準拠した robots.txt ファイルをリアルタイムで生成します。ページを開くとサンプルのデフォルト値が表示され、任意のフィールドを変更すると生成結果が即座にプレビューされ、ワンクリックでコピーしてウェブサイトのルートディレクトリにデプロイできます。すべてブラウザのローカルで実行され、設定データがサーバーにアップロードされることはありません。

Robots.txt とクローラー除外プロトコルについて

robots.txt はウェブサイトが検索エンジンクローラーと通信する最も基本的な方法の1つで、正式名称は Robots Exclusion Protocol（クローラー除外プロトコル、略称 REP）です。これはウェブサイトのルートディレクトリに配置されるプレーンテキストファイルで、単純なディレクティブを使用して、規約を遵守する検索エンジンクローラーにウェブサイトのどの部分をクロールしてよく、どの部分をクロールしてほしくないかを伝えます。robots.txt は 1994 年に Martijn Koster によって最初に提案され、約 30 年の開発を経て、2022 年に IETF によって RFC 9309 として正式に標準化されました。

robots.txt の基本構造は1つ以上のルールグループ（Group）で構成されます。各ルールグループは1つ以上の User-agent 行で始まり、ルールが適用されるクローラーを指定し（* はすべてのクローラーを表します）；その後に Allow 行と Disallow 行がいくつか続き、それぞれクロールを許可および禁止するパスプレフィックスを指定します；ファイルの末尾には Sitemap や Host などの非グループレベルのディレクティブを追加できます。各ルールグループの間は空行で区切られます。一般的な robots.txt には以下が含まれます：User-agent 宣言 → Allow/Disallow パスルール → （オプション）追加の User-agent グループ → Sitemap 宣言 → Host ディレクティブ。

User-agent フィールドはルールが適用されるクローラー名を指定します。一般的な検索エンジンクローラー名には以下が含まれます：Googlebot（Google 検索）、Bingbot（Bing 検索）、Baiduspider（百度検索）、YandexBot（Yandex 検索）、DuckDuckBot（DuckDuckGo 検索）、Twitterbot（Twitter/X カード取得）、facebookexternalhit（Facebook リンクプレビュー）、GPTBot（OpenAI GPT クローラー）、Bytespider（字節跳動/今日頭条検索）など。User-agent: * をワイルドカードとして使用し、個別にマッチしないすべてのクローラーにマッチさせます。

Allow ディレクティブと Disallow ディレクティブはプレフィックスマッチング（Prefix Matching）の原則を使用します：URL パスが指定された値で始まる限り、ルールがマッチします。例えば Disallow: /admin は /admin、/admin/、/admin/login.html、/administrator など、/admin で始まるすべてのパスをブロックします。/admin/ ディレクトリのみに正確にマッチさせたい場合は、Disallow: /admin/（末尾にスラッシュを追加）と記述します。RFC 9309 規格によると、Allow と Disallow の両方がマッチする場合、パスが長い方のルールが優先され；長さが同じ場合は Allow が優先されます。これは、より具体的なルールほど優先度が高いことを意味します。

Sitemap ディレクティブは検索エンジンにサイトマップの位置を知らせ、クローラーがウェブサイトのページをより効率的に発見してインデックスできるようにするためのものです。Sitemap 行はすべてのルールグループの後（またはファイルの末尾）に配置する必要があり、URL は完全な絶対アドレス（http:// または https:// を含む）である必要があります。1つの robots.txt に複数の Sitemap を宣言でき、それぞれ独立した行に記述します。大規模サイトは通常、複数の Sitemap（コンテンツタイプ、更新頻度で分類）に分割し、Sitemap インデックスファイルで一元管理します。

Host ディレクティブは Yandex によって提案された非標準ですが広く使用されているディレクティブで、サイトの優先ドメイン（プライマリミラー）を指定するためのものです。例えば example.com と www.example.com の両方が存在する場合、Host: example.com は検索エンジンに example.com を優先するよう伝えます。注意：Google は Host ディレクティブを使用しないと声明しており、優先ドメインは Google Search Console で設定する必要があります；Bing も明確には対応していません。Host ディレクティブは Sitemap の後に配置し、1回だけ出現できます。

robots.txt を正しく設定することは SEO にとって重要な意味を持ちます：第一に、クローラーが無意味なページ（検索結果ページ、フィルタリングページ、重複コンテンツページなど）でクロール予算を浪費するのを防ぎ、クローラーが価値のあるコンテンツをより効率的にクロールできるようにします；第二に、機密性の高いページや価値の低いページ（管理画面、テストページ、印刷用ページなど）がインデックスされるのを防ぎます；第三に、Sitemap を通じてクローラーを新しいページに能動的に誘導します。ただし注意が必要です：robots.txt は紳士協定であり、真のセキュリティ対策の代わりにはなりません；Disallow された URL でも外部リンクが張られていると、検索結果に URL が表示される場合があります（コンテンツはクロールされません）；クロールを完全に禁止すると、サイト全体のウェイト評価に悪影響を与える可能性があります。

robots.txt のよくあるエラーには以下が含まれます：①パスの記述ミス（Disallow: admin のように先頭のスラッシュが欠けている、/admin と記述すべき）；②正規表現の使用（標準 REP は正規表現をサポートしておらず、Googlebot のみ限定的なワイルドカード * と $ をサポート）；③JS/CSS ファイルのクロール禁止（Google がページをレンダリングできなくなります）；④Disallow: /（サイト全体を禁止、これは致命的なエラーでサイトがまったくインデックスされなくなります）；⑤ファイルエンコーディングの問題（UTF-8 エンコーディングである必要があります）；⑥ルートディレクトリではなくサブディレクトリに配置；⑦ファイルのパーミッションによるアクセス不可（200 OK ステータスコードを返す必要があります）。生成後は Google Search Console の robots.txt テストツールまたは当プラットフォームの robots.txt 検査ツールを使用して検証することを推奨します。

ユースケース

新規サイト公開前に基本的な robots.txt を設定し、クロールを許可/禁止するパス範囲を明確にして、検索エンジンが正しくクロールするよう誘導
サイトリニューアル後に Disallow ルールを更新して、古いディレクトリがクロールされ続けて SEO のウェイト配分に影響するのを防止
複数の Sitemap アドレス宣言を追加して、検索エンジンがサイト全体のページ構造をより速く発見できるようにし、インデックス効率を向上
バックエンド管理ディレクトリ（/admin）、テスト環境、プライベートディレクトリがクローラーにインデックスされるのをブロックし、セキュリティリスクを軽減
Host ディレクティブを設定してサイトの優先ドメイン（www ありまたはなし）を指定し、重複コンテンツの問題を軽減
異なる検索エンジンクローラー（Googlebot、Bingbot、Baiduspider など）に対して独立したクロールルールを設定
メンテナンス中のディレクトリへのクローラーのアクセスを一時的に禁止し、サイトの更新が完了したらクロールを再開
適切なフォーマットの robots.txt ファイルを生成し、手書きのフォーマットエラーによる検索エンジンの解析失敗を回避
複数の Sitemap（記事 sitemap、製品 sitemap、画像 sitemap など）を設定して、サイト全体のコンテンツタイプをカバー
フロントエンド開発での robots.txt ルール設定のデモンストレーション、クローラープロトコルの標準フォーマットの教育展示
robots.txt 検査ツールと併用して、生成されたルールが期待通りか検証し、重要なページを誤ってブロックするのを回避
robots.txt テンプレートをすばやく作成し、ダウンロードして実際のサイトの状況に合わせて微調整してからデプロイ

使い方

User-agent 入力ボックスで対象のクローラーを指定します（デフォルトの * はすべての検索エンジンクローラーを表します）
Allow エリアにクロールを許可するパスを記入します（1行に1つのルール、例: /、/blog/）
Disallow エリアにクロールを禁止するパスを記入します（1行に1つのルール、例: /admin、/private）
Sitemap エリアに XML サイトマップアドレスを追加し（複数行対応）、Host エリアに優先ドメインを記入します
右側のプレビューエリアに生成された robots.txt の内容がリアルタイムで表示されるので、問題がなければコピーボタンをクリックしてデプロイします

特徴

複数ルールの独立設定：User-agent、Allow、Disallow、Sitemap、Host がそれぞれ独立した入力エリアになっており、ルールが混在せず分類が明確
リアルタイムプレビュー生成：任意のルールを変更すると robots.txt の内容が即座に更新され、生成ボタンを手動でクリックする必要がなく、見たままの結果が得られます
デフォルトのフォールバックルール：Allow と Disallow が両方空の場合、自動的に Allow: / が出力され、空のファイルによるクローラーの不確定な動作を回避
複数 Sitemap 対応：Sitemap エリアは複数行入力に対応し、各 URL が独立した Sitemap 宣言行として出力されるため、複数の Sitemap を持つサイトに最適
ワンクリックコピーでデプロイ：生成結果をワンクリックでクリップボードにコピーでき、ウェブサイトのルートディレクトリに直接貼り付けてデプロイ可能
デフォルトのサンプルが事前入力：ページを開くとデフォルトのサンプル設定（User-agent: *、Allow: /、Disallow: /admin /private、Sitemap、Host）が表示され、初心者でも参考にして直接変更可能
標準フォーマット出力：Robots Exclusion Protocol 仕様に厳密に従い、User-agent 行を先頭に、ルール行をその後に、Sitemap/Host を末尾に配置し、すべての検索エンジンと互換性あり
スマートパス処理：各行の先頭と末尾の空白を自動的にトリムし、空行をフィルタリングして、余分なスペースによるルールの無効化を防止
分割ペインのレスポンシブレイアウト：PCでは左右分割ペイン（設定/プレビュー）、モバイルでは上下に配置され、デスクトップでもスマートフォンでも使いやすい
等幅フォントプレビュー：プレビューエリアは等幅フォントで生成結果を表示し、robots.txt のフォーマットが整然と明確に表示
Host ディレクティブ対応：優先する Host ドメインを設定でき（Yandex などの検索エンジンが対応）、ドメイン間の重複コンテンツの問題を軽減
ブラウザで完全にローカル実行：すべての設定と生成処理はブラウザのローカル JavaScript で完了し、データがサーバーに送信されることはありません
依存関係ゼロで即座に使用可能：ページを開くとすぐに使用でき、登録やログイン、ソフトウェアのインストールは不要
検査ツールと連携：関連リンクから robots.txt 検査ツールに直接アクセスでき、生成後すぐにルールが正しいか確認可能

よくある質問

robots.txt は何のためのものですか？なぜウェブサイトにこのファイルが必要なのですか？

robots.txt はウェブサイトのルートディレクトリに配置されるプレーンテキストファイルで、検索エンジンクローラー（Googlebot、Bingbot、Baiduspider など）にどのパスをクロールしてよく、どのパスへのアクセスを禁止するかを伝えるためのものです。これは Robots Exclusion Protocol（クローラー除外プロトコル）の実装方法であり、サイトのクロール管理と SEO の基本設定におけるコアファイルです。必須ではありませんが、ほぼすべての正規のウェブサイトがクローラーの動作を誘導するために robots.txt を設定しています。

robots.txt ファイルはどこに配置すべきですか？

robots.txt はウェブサイトのルートディレクトリに配置する必要があり、http://あなたのドメイン/robots.txt から直接アクセスできる必要があります（例: https://example.com/robots.txt）。サブディレクトリ（/blog/robots.txt など）に配置しても無効であることに注意してください。クローラーはルートディレクトリでのみこのファイルを探します。ファイル名はすべて小文字の robots.txt である必要があり、Robots.txt や ROBOTS.TXT ではいけません。

Allow と Disallow が両方空の場合、どのような内容が生成されますか？

Allow と Disallow のいずれも記入されていない場合、ジェネレーターはフォールバックルールとして自動的に Allow: / を出力し、サイト全体のクロールを許可します。これにより、空のファイルや User-agent 行だけの不完全な robots.txt が生成されるのを防ぎ、ルールが不明確なためにクローラーが不確定な動作をするのを防止します。

複数の Sitemap アドレスを設定できますか？

はい。Sitemap エリアは複数行入力に対応しており、各 URL は独立した Sitemap 宣言行として出力されます。例えば大規模サイトでは通常、複数の sitemap ファイル（記事 sitemap、製品 sitemap、画像 sitemap など）があり、完全な Sitemap URL（http:// または https:// を含む完全な絶対パスである必要があります）を1行に1つ記入できます。

Host ディレクティブの役割は何ですか？すべての検索エンジンが対応していますか？

Host ディレクティブはサイトの優先ドメイン（example.com や www.example.com など）を指定するためのもので、検索エンジンがプライマリドメインを認識し、www 版と非 www 版の間の重複コンテンツの問題を減らすのに役立ちます。現在 Host ディレクティブは主に Yandex などの検索エンジンが対応しており、Google は Host ディレクティブを直接使用せず、Google Search Console で優先ドメインを設定します。設定することを推奨しますが、それだけに依存しないでください。

User-agent: * はどういう意味ですか？特定のクローラーに対してルールを設定するにはどうすればよいですか？

User-agent: * は、ルールがすべてのクローラーに適用されることを意味します（アスタリスクはワイルドカードです）。特定の検索エンジンに対して独立したルールを設定する必要がある場合は、User-agent を具体的なクローラー名（Googlebot（グーグル）、Bingbot（ビング）、Baiduspider（百度）、Twitterbot（ツイッター/X）など）に設定できます。複数の User-agent グループを設定でき、各グループの間は空行で区切ります。

robots.txt は機密ディレクトリをアクセスから本当に保護できますか？

いいえ。robots.txt は紳士協定に過ぎず、規約を遵守する検索エンジンクローラーはルールに従いますが、悪意のあるクローラーやハッカーのスキャナーはそれを完全に無視できます。本当に機密性の高いコンテンツ（管理画面のパスワード、ユーザーのプライバシーデータなど）を保護するために robots.txt に依存しないでください。機密ディレクトリにはサーバー側の認証（パスワード保護、IPホワイトリスト）などの真のセキュリティ対策を使用すべきです。robots.txt の役割は規約を遵守するクローラーを誘導することであり、セキュリティ保護ではありません。

Disallow ルールのパスマッチングルールは何ですか？

Disallow ルールはプレフィックスマッチングを使用します：Disallow: /admin は /admin、/admin/、/admin/login.html、/administrator など、/admin で始まるすべてのパスにマッチします。/admin/ ディレクトリ配下のコンテンツのみにマッチさせたい場合は、Disallow: /admin/（末尾にスラッシュを付ける）と記述します。Disallow: （空の値）はどのパスも禁止しない（つまりすべて許可する）ことを意味します。ルールは大文字と小文字を区別することに注意してください。

生成された robots.txt をウェブサイトにデプロイするにはどうすればよいですか？

コピーボタンをクリックして生成内容をクリップボードにコピーし、サーバー上に robots.txt という名前のプレーンテキストファイルを作成して内容を貼り付け、ファイルをウェブサイトのルートディレクトリ（通常は web root、public_html、www、または dist ディレクトリ）にアップロードします。デプロイ後、https://あなたのドメイン/robots.txt にアクセスしてコンテンツが表示されることを確認できます。また、Google Search Console の robots.txt テストツールを使用してルールを検証することもできます。

robots.txt を変更してからどのくらいで有効になりますか？

検索エンジンクローラーが次回サイトにアクセスしたときに robots.txt ファイルを再取得し、通常は数時間から数日以内に有効になります。検索エンジンにできるだけ早く更新を発見させたい場合は、Google Search Console または Bing Webmaster Tools で robots.txt の更新リクエストを送信できます。注意：すでにインデックスされているページは、Disallow されても検索結果にしばらく残る場合があります。完全に削除するには noindex タグまたは URL 削除ツールを併用する必要があります。

Allow と Disallow が競合した場合、どちらが優先されますか？

RFC 9309（Robots Exclusion Protocol の公式規格）によると、Allow と Disallow ルールのパスの長さが同じ場合は Allow が Disallow より優先され、パスの長さが異なる場合は最も長いパスにマッチするルールが優先されます。例えば Allow: /blog と Disallow: /blog/ が競合した場合、/blog/post.html へのアクセスは Disallow（/blog/ > /blog でパスが長い）にマッチし、/blog 自体へのアクセスは Allow にマッチします。簡単に言うと、より具体的なルールほど優先度が高くなります。

robots.txt にコメントを追加できますか？

はい、# で始まる行はコメント行となり、クローラーは # 以降の内容を無視します。コメントは単独行に記述することも、ルール行の末尾（# 以降）に記述することもできます。例: # Block admin area または Disallow: /admin # admin panel。適切にコメントを追加すると、自分やチームメンバーが各ルールの役割を理解するのに役立ちます。

Sitemap URL は絶対パスである必要がありますか？

はい、Sitemap ディレクティブは完全な絶対 URL（プロトコルとドメインを含む）を使用する必要があります（例: Sitemap: https://example.com/sitemap.xml）。クローラーは異なるドメイン（example.com と www.example.com など）からサイトにアクセスする可能性があるため、相対パス（/sitemap.xml など）は使用できません。相対パスではクローラーが正しいアドレスを特定できなくなります。

設定データはサーバーにアップロードされますか？

まったくされません。robots.txt のすべての設定と生成処理はブラウザのローカルで JavaScript によって完了し、入力されたパスやドメインなどの設定データが外部のサーバーに送信されることはありません。ページが読み込まれると（基本機能は）オフラインでも使用でき、ページを閉じるとデータは自動的に消去され、記録は残りません。

生成された robots.txt はどのウェブサイトでも使用できますか？

はい、ジェネレーターは標準の Robots Exclusion Protocol フォーマットのプレーンテキストファイルを出力するため、任意の Web サーバー（Nginx、Apache、IIS、Caddy など）および任意のサイト構築プラットフォーム（WordPress、Shopify、Next.js、Django、Rails など）に適しています。ウェブサイトのルートディレクトリにデプロイし、公開アクセス可能にするだけで使用できます。

トラブルシューティング

生成したファイルにアクセスすると 404 エラーが返されますか？

robots.txt ファイルがウェブサイトのルートディレクトリ（サブディレクトリではない）にアップロードされていること、ファイル名がすべて小文字の robots.txt であること、ファイルのパーミッションが公開読み取り可能に設定されていること（通常は 644 パーミッションで十分です）を確認してください。アップロード後、ブラウザで https://あなたのドメイン/robots.txt に直接アクセスして、コンテンツが表示されることを確認してください。サーバーによってルートディレクトリの位置は異なります：Nginx/Apache は通常 /var/www/html/ または /usr/share/nginx/html/、Vercel/Netlify は通常 public/ ディレクトリです。

Disallow ルールが有効にならず、ページがまだインデックスされていますか？

考えられる原因：①クローラーがまだ robots.txt を再取得していない（数日待つか、Search Console で更新を送信してください）；②パスプレフィックスのマッチングが正しくない（Disallow: admin のように / が欠けている、Disallow: /admin/ と記述すべき）；③Disallow を追加する前にページがすでにインデックスされていた（すでにインデックスされたページは自動的には削除されません）；④悪意のあるクローラーが robots.txt を遵守していない；⑤Allow ルールの競合により Disallow が上書きされている（パスが長い場合 Allow が優先されます）。インデックスから完全に削除するには noindex タグを使用してください。

Google Search Console が robots.txt によってページがブロックされていると報告していますか？

これは通常、重要なページが誤って Disallow されていることを意味します。robots.txt に過度に広範な Disallow ルール（Disallow: / や Disallow: /*? など）がないか確認し、CSS/JS ファイルが禁止されていないことを確認してください（Google はページをレンダリングするためにこれらのファイルをクロールする必要があります）。Search Console の robots.txt テストツールを使用して特定の URL を入力し、どのルールがブロックしているかテストしてください。

誤って Disallow: / を設定してしまい、サイト全体のクロールが禁止されてしまいましたか？

すぐにそのルールを削除または変更し、robots.txt を Allow: / にするか Disallow: / 行を削除して、更新したファイルをサーバーにアップロードしてください。その後、Google Search Console で robots.txt の更新リクエストを送信し、sitemap を送信して再クロールを加速してください。すでにインデックスから削除されたページが再インデックスされるには、数日から数週間かかる場合があります。

用語集

robots.txt: ウェブサイトのルートディレクトリに配置されるプレーンテキストファイルで、Robots Exclusion Protocol に従い、規約を遵守する検索エンジンクローラーにどのパスのクロールを許可/禁止するかを伝えるためのものです。
Robots Exclusion Protocol (REP): クローラー除外プロトコル。1994年に提案され、2022年に RFC 9309 として標準化された、ウェブサイトとクローラーの間でクロールルールを通信するための事実上の標準です。
User-agent: ルールグループの開始フィールドで、後続の Allow/Disallow ルールが適用されるクローラー名を指定します。* ワイルドカードはすべてのクローラーにマッチします。
Disallow: クロール禁止ディレクティブ。クローラーにアクセスしてほしくないパスプレフィックスを指定します。例えば Disallow: /admin は /admin で始まるすべてのパスのクロールを禁止します。
Allow: クロール許可ディレクティブ。クローラーのアクセスを明示的に許可するパスを指定します。Disallow された親パス配下の特定のサブパスを開放する場合に使用します。
Sitemap: サイトマップ宣言ディレクティブ。検索エンジンにウェブサイトの XML サイトマップの完全な URL を伝え、クローラーがサイト全体のページを効率的に発見してインデックスできるようにします。
Host: 優先ドメインディレクティブ。サイトのプライマリドメイン（example.com と www.example.com のどちらかなど）を指定します。Yandex が対応し、Google は Search Console で設定します。
Crawler/Bot/Spider: クローラー/スパイダー/ボット。検索エンジンがウェブページに自動的にアクセスしてコンテンツを収集する自動化プログラムで、Googlebot、Bingbot、Baiduspider などがあります。
Googlebot: Google 検索エンジンのウェブクローラーで、Google のインデックスとランキングのためにウェブコンテンツを取得する責任があり、最も一般的な検索エンジンクローラーの1つです。
Crawl Budget: クロール予算/クォータ。検索エンジンが各ウェブサイトに割り当てるクロール頻度とページ数の上限です。robots.txt を適切に設定することで、クロールクォータの浪費を回避できます。
Prefix Matching: プレフィックスマッチングルール。robots.txt のパスマッチング方式です。URL パスがルール値で始まるとマッチが成功し、ルールが長いほど優先度が高くなります。
noindex: HTML meta タグまたは HTTP ヘッダーディレクティブ（X-Robots-Tag: noindex）。検索エンジンにそのページを検索インデックスに含めないよう伝えます。robots.txt の Disallow とは異なり、noindex はインデックスから削除するためのより信頼できる方法です。

一般的な検索エンジンクローラーの User-agent 名

特定のクローラーにルールを設定する際に使用する User-agent 名：

クローラー名	所有する検索エンジン	用途
`*`	すべてのクローラー	ワイルドカード。個別に設定されていないすべてのクローラーにマッチ
`Googlebot`	Google	Google 検索のウェブクローリングクローラー
`Bingbot`	Bing/マイクロソフト	Bing 検索のウェブクローリングクローラー
`Baiduspider`	百度	百度検索のウェブクローリングクローラー
`YandexBot`	Yandex	Yandex 検索のウェブクローリングクローラー
`GPTBot`	OpenAI	ChatGPT トレーニングデータ取得クローラー
`Twitterbot`	X/Twitter	X プラットフォームのリンクカードプレビュークローラー
`facebookexternalhit`	Facebook	Facebook リンクプレビュークローラー

よく使われる robots.txt ルールの例

さまざまなサイトシナリオでの一般的なルール設定：

ルール	効果
`Disallow: /admin/`	/admin/ ディレクトリ配下のすべてのコンテンツのクロールを禁止
`Disallow: /*?`	クエリパラメータを含む URL のクロールを禁止（Googlebot はワイルドカード * に対応）
`Disallow: /search`	サイト内検索結果ページのクロールを禁止
`Allow: /public/`	/public/ ディレクトリのクロールを明示的に許可
`Disallow: /`	⚠️ サイト全体のクロールを禁止（致命的なエラー、慎重に使用してください！）
`Allow: /`	サイト全体のすべてのコンテンツのクロールを許可

robots.txt 標準ディレクティブ早見表

RFC 9309 で定義されている標準ディレクティブと使用方法：

ディレクティブ	スコープ	フォーマット例	説明
`User-agent`	グループ開始	User-agent: *	ルールが適用されるクローラー名を指定
`Disallow`	グループ内	Disallow: /admin	クロールを禁止するパスプレフィックス
`Allow`	グループ内	Allow: /public	クロールを許可するパスプレフィックス
`Sitemap`	非グループレベル	Sitemap: https://example.com/sitemap.xml	サイトマップの位置を宣言（絶対URL）
`#`	任意の位置	# This is a comment	コメント行。クローラーは無視

Privacy & Security

この Robots.txt ジェネレーターのすべての操作は完全にブラウザのローカルで完了します：User-agent、パスルール、Sitemap、Host などの設定入力はすべてブラウザメモリ内で JavaScript によってリアルタイムで robots.txt テキストに組み立てられ、ネットワークを通じて任意のサーバーに送信されることはありません。ページが読み込まれるとすぐに使用でき、Cookie トラッキングは使用せず、ユーザーデータを収集しません。ページを閉じるか更新すると、すべての設定内容は自動的に消去され、ブラウザに永続的に保存されることはありません。

Authoritative References

IETFRFC 9309 - Robots Exclusion Protocol 公式規格
Google Search CentralGoogle 公式 robots.txt 仕様
Googlerobots.txt テストツール（Google Search Console）