logo
GeekFormat

robots.txt生成

robots.txt ルールジェネレーター

複数行の Allow / Disallow / Sitemap をサポートし、標準形式を自動的にアセンブルします。

ルール設定
生成結果

robots.txtをオンライン生成。クローリングルールを明確に設定。

関連おすすめ

Sitemap生成

IPv4 コンバーター

Sitemap検査

URL エンコード

Unix タイムスタンプ変換

IPv4範囲展開

ユースケース

  • 新規サイト公開前に基本版robots.txtを生成し、重要なディレクトリの誤ブロック・全開放を回避
  • サイト改版後にDisallowルールを更新し、旧ディレクトリの継続クローリングがSEOに影響するのを防止
  • Sitemapアドレスを宣言し、検索エンジンがサイト全体構造をより早く発見し、インデックス効率を向上
  • 管理画面・テスト環境・機密ディレクトリをブロックし、クローラーによるインデックスを回避してセキュリティリスクを低減

特徴

  • 一般的なルールを直接生成：構文エラーがクローリングに影響するのを心配不要
  • 新規サイト・改版両方でよく使用：公開前にまず開放すべきものを開放し、ブロックすべきものをブロック
  • フォーマットエラーを削減：ビジュアル入力により、手書きrobots.txtの構文リスクを低減
  • 生成即デプロイ可能：結果はワンクリックコピー後、サイトルートディレクトリに配置して使用可能

使い方

  1. 設定対象の検索エンジンクローラー（User-agent）を選択（Googlebot・Baiduspiderなど）
  2. クローリング許可（Allow）・クローリング禁止（Disallow）のパスルールを設定
  3. Sitemapアドレスを追加し、検索エンジンがサイトマップを発見できるようにする
  4. robots.txt内容を生成し、ワンクリックコピーしてサイトルートディレクトリにデプロイ

よくある質問

robots.txtは何のためにありますか？なぜサイトが必要なのですか？

robots.txtは検索エンジンにどのパスをクローリング可能か・どのパスをクローリングすべきでないかを通知するために使用され、サイトクローリング管理・SEO基本設定において非常に一般的なステップです。

新規サイト公開前にrobots.txtを設定する必要がありますか？

設定をお勧めします。ルールがシンプルであっても、クローリング範囲を規範化し、サイトマップアドレスを宣言することで、検索エンジンの認識コストを削減できます。

Allow・Disallow・Sitemapを同時に設定できますか？

可能です。ジェネレーターは一般的なrobotsルール構造を出力するのに適しており、直接コピーしてサイトルートディレクトリにデプロイできます。

なぜ手書きrobots.txtはエラーが発生しやすいのですか？

一般的な問題には、パスの誤り・大文字小文字の不一致・ルールの順序不明瞭・サイトマップの漏れが含まれます。ジェネレーターを使用することで、フォーマット・構文エラーを削減できます。