Verificador de robots.txt

Inspector de política robots

Obtiene el robots.txt del sitio, analiza las agrupaciones User-agent y verifica inmediatamente si una ruta permite el rastreo.

Verifica robots.txt online, ve inmediatamente si una ruta puede ser rastreada.

Relacionado

Generador de robots.txt

Caja de Herramientas IPv6

Consulta MX

Constructor de Parámetros URL

Herramienta de Tiempo

Generador de Slugs

Casos de uso

Cuando las páginas no se indexan, primero confirma que robots.txt no esté bloqueando las rutas relevantes
Verifica que las nuevas reglas de rastreo funcionen como se espera después del rediseño del sitio para evitar que las reglas antiguas persistan
Prueba si rutas URL específicas permiten el acceso del rastreador objetivo para confirmar la configuración Allow/Disallow
Extrae declaraciones de Sitemap para confirmar que las URLs del mapa del sitio estén configuradas correctamente para el descubrimiento de motores de búsqueda

Características

Verificación directa de rutas específicas: Sin necesidad de rastrear manualmente las reglas
Los problemas de indexación son más fáciles de verificar aquí primero: Directorios bloqueados y aplicaciones incorrectas de reglas son fáciles de pasar por alto
Declaraciones de Sitemap verificadas convenientemente: Las reglas de rastreo y la información del sitemap pueden verificarse juntas
Vale la pena revisar después de rediseños: Actualizaciones de CMS, cambios de directorio y modificaciones de reglas se benefician de la detección oportuna de problemas

Cómo Usar

Introduce el dominio del sitio web o la URL completa de robots.txt
La herramienta obtiene y analiza automáticamente las reglas de robots.txt con visualización estructurada
Introduce las rutas a probar y verifica si los rastreadores objetivo tienen acceso permitido
Visualiza las declaraciones de Sitemap y la estructura completa de reglas para optimización SEO y resolución de problemas

Preguntas Frecuentes

¿Cómo saber si una página está bloqueada por robots.txt?

Introduce la URL y ruta objetivo para verificar si el rastreador especificado tiene acceso permitido según las reglas actuales. Esto es más fiable que leer las reglas a simple vista.

¿Podría una página no indexada ser realmente un problema de robots.txt?

Es posible. Si robots.txt bloquea directorios o rutas relevantes, los motores de búsqueda pueden no poder rastrear el contenido de la página normalmente. Verificar aplicaciones incorrectas de reglas es un primer paso necesario.

¿Puede extraer declaraciones de Sitemap y otras?

Sí. Además de las reglas de rastreo, muchos archivos robots.txt también declaran URLs de Sitemap, lo cual es muy útil para la inspección del sitio y el diagnóstico SEO.

¿Es adecuado para verificaciones regulares después del lanzamiento del sitio?

Sí. Especialmente después de rediseños del sitio, cambios de directorio o actualizaciones de CMS, se recomienda volver a verificar las reglas de robots para cambios inesperados.