Inspecteur de robots.txt

Inspecteur de politique robots

Récupère le robots.txt du site, analyse les regroupements User-agent et vérifie immédiatement si un chemin est autorisé à être exploré.

Vérifiez le robots.txt en ligne, découvrez instantanément si un chemin peut être crawlé.

Recommandations connexes

Générateur Robots.txt

Boîte à outils IPv6

Recherche MX

Générateur de paramètres URL

Outil Horloge

Générateur de Slug

Cas d'utilisation

  • Confirmez d'abord si le robots.txt bloque le chemin correspondant lorsqu'une page n'est pas indexée
  • Vérifiez que les nouvelles règles de crawl fonctionnent comme prévu après une refonte du site et évitez les anciennes règles résiduelles
  • Testez si un chemin URL spécifique est autorisé au crawl par le robot cible et confirmez la configuration Allow/Disallow
  • Extrayez la déclaration Sitemap pour confirmer que l'adresse du plan du site est correctement configurée et faciliter la découverte par les moteurs de recherche

Comment utiliser

  1. Saisissez le nom de domaine du site ou l'URL complète du fichier robots.txt
  2. L'outil récupère et analyse automatiquement le contenu du robots.txt et l'affiche de manière structurée
  3. Saisissez le chemin à tester pour voir si le robot cible est autorisé à le crawler
  4. Consultez la déclaration Sitemap et la structure complète des règles pour l'optimisation SEO et le diagnostic

Fonctionnalités

  • Vérification directe si un chemin est autorisé : plus besoin de déduire manuellement les règles
  • Idéal pour les anomalies d'indexation : les blocages accidentels de répertoires et les règles erronées sont facilement négligés
  • Déclaration Sitemap visible en un coup d'œil : vérifiez ensemble les règles de crawl et les informations de plan du site
  • Vaut la peine de revérifier après une refonte : détectez rapidement les problèmes après les mises à jour CMS, les ajustements de répertoires et les changements de règles

FAQ

Comment savoir si une page est bloquée par le robots.txt ?

Saisissez l'adresse cible et le chemin pour déterminer si le robot spécifié est autorisé à accéder selon les règles actuelles. C'est plus fiable que de lire les règles à l'œil nu.

Une page non indexée peut-elle vraiment être due au robots.txt ?

C'est possible. Si le robots.txt interdit un répertoire ou un chemin correspondant, le moteur de recherche peut ne pas crawler le contenu de la page. Vérifier d'abord si les règles bloquent accidentellement est nécessaire.

Peut-il extraire le Sitemap ou d'autres déclarations ?

Oui. Outre les règles de crawl, de nombreux fichiers robots.txt déclarent également l'adresse du Sitemap, ce qui est très utile pour la vérification du site et le diagnostic SEO.

Est-il adapté à la vérification régulière après le lancement d'un site ?

Oui. Surtout après une refonte du site, un ajustement de répertoires ou une mise à jour CMS, il est recommandé de revérifier les règles robots pour détecter les changements accidentels.