robots.txt検査

robots ポリシーインスペクター

サイトのrobots.txtを取得し、User-agentグループ化を解析し、パスがクロール許可されているかを即座に検証します。

robots.txtをオンライン検査。特定パスのクローリング可否を即時把握。

関連おすすめ

Robots.txt ジェネレーター

IPv6ツールボックス

MX照会

URLパラメータ生成

時間ツール

Slugジェネレーター

ユースケース

  • ページがなかなかインデックスされない場合、まずrobots.txtが該当パスをブロックしていないか確認
  • サイト改版後に新しいクローラールールが期待通りに有効化されているか検証し、旧ルールの残留を回避
  • 特定URLパスがターゲットクローラーのクローリングを許可されているかテストし、Allow/Disallow設定を確認
  • Sitemap宣言を抽出し、サイトマップアドレスが正しく設定されているか確認して検索エンジンの発見を容易化

使い方

  1. サイトドメインまたはrobots.txtの完全なURLアドレスを入力
  2. ツールがrobots.txtルールを自動取得・解析し、構造化表示
  3. テスト対象のパスを入力し、ターゲットクローラーのクローリング許可可否を確認
  4. Sitemap宣言・完全なルール構造を確認し、SEO最適化・トラブルシューティングに使用

特徴

  • 指定パスの許可可否を直接判断：手動でルールを推演する必要なし
  • インデックス異常の場合まずここで調査：ディレクトリの誤ブロック・ルールの誤適用を見落としにくい
  • Sitemap宣言を素早く確認：クローラールール・サイトマップ情報を一括照合可能
  • 改版後の再検査に価値あり：CMS更新・ディレクトリ調整・ルール変更後に問題をタイムリーに発見可能

よくある質問

特定のページがrobots.txtでクローリング禁止されているかを判断するには？

ターゲットアドレス・パスを入力すれば、現在のルールに基づいて指定クローラーのアクセス許可可否を判断できます。単純にルールを目視するよりも安定しています。

ページがインデックスされないのは、本当にrobots.txtの問題かもしれませんか？

可能性があります。robots.txtが関連ディレクトリ・パスを禁止している場合、検索エンジンはページ内容を正常にクローリングできないかもしれません。まずルールが誤適用されていないか検査することは非常に重要です。

Sitemap・その他の宣言を抽出できますか？

可能です。クローラールール以外に、多くのrobots.txtはSitemapアドレスも宣言しており、サイト検査・SEO診断に役立ちます。

サイト公開後の定期検査に適していますか？

適しています。特にサイト改版・ディレクトリ調整・CMS更新後に、robotsルールに予期しない変更が発生していないか再検査することをお勧めします。