Inspector de Robots.txt

Inspector de política robots

Obté el robots.txt del lloc, analitza els agrupaments User-agent i verifica immediatament si un camí permet l'exploració.

Verifica el robots.txt i comprova si una ruta està bloquejada.

Relacionats

Generador de Robots.txt

Caixa d'eines IPv6

Consulta MX

Generador de Paràmetres URL

Eines de temps

Generador de Slug URL

Casos d'ús

  • Confirmar si el robots.txt bloqueja una ruta quan una pàgina no s'indexa
  • Validar les noves regles de rastreig després d'una reestructuració web per evitar regles residuals
  • Provar si una URL específica permet l'accés del bot objectiu i verificar la configuració Allow/Disallow
  • Extreure declaracions de Sitemap per confirmar que l'adreça del mapa del lloc està ben configurada

Com usar-ho

  1. Introduïu el domini del lloc o l'URL completa del fitxer robots.txt
  2. L'eina obté i analitza automàticament les regles del robots.txt amb visualització estructurada
  3. Introduïu la ruta a provar per verificar si el bot objectiu pot accedir-hi
  4. Reviseu les declaracions de Sitemap i l'estructura completa de regles per optimitzar i diagnosticar SEO

Característiques

  • Verificació directa de rutes: comprova si una URL específica està bloquejada sense haver de interpretar les regles manualment
  • Detecció de bloquejos accidentals: identifica directoris bloquejats per error que poden afectar l'indexació
  • Extracció de Sitemap integrada: visualitza les declaracions de Sitemap juntament amb les regles de rastreig
  • Validació post-migració: verifica que les actualitzacions del CMS o canvis de directoris no hagin alterat les regles

Preguntes freqients

Com sé si una pàgina està bloquejada pel robots.txt?

Introduïu l'adreça i la ruta objecte, i l'eina combina les regles actuals per determinar si el bot pot accedir-hi. És més fiable que llegir les regles a ull.

Una pàgina no indexada pot ser culpa del robots.txt?

És possible. Si el robots.txt bloqueja un directori o ruta, el motor de cerca no podrà rastrejar el contingut. Verificar les regles per descartar bloquejos accidentals és un bon primer pas.

Es poden extreure les declaracions de Sitemap?

Sí. A més de les regles de rastreig, molts fitxers robots.txt inclouen l'adreça del Sitemap, útil per al diagnòstic SEO i la verificació del lloc.

És recomanable revisar el robots.txt periòdicament?

Sí, especialment després d'una reestructuració, canvis de directoris o actualitzacions del CMS. Una revisió periòdica ajuda a detectar canvis inesperats a les regles.