Verificador de robots.txt

Inspetor de política robots

Busca o robots.txt do site, analiza os agrupamentos de User-agent e verifica imediatamente se um caminho é permitido para rastreamento.

Verifique robots.txt online e veja imediatamente se um caminho pode ser rastreado.

Sugestões Relacionadas

Gerador de Robots.txt

Caixa de Ferramentas IPv6

Consulta de MX

Gerador de Query String

Ferramenta de Tempo

Gerador de Slug

Casos de uso

  • Quando a página demora para ser indexada, primeiro confirme se o robots.txt não está bloqueando o caminho correspondente
  • Após reformulação do site, verifique se as novas regras de crawler estão funcionando conforme esperado, evitando regras antigas residuais
  • Teste se caminhos de URL específicos permitem o crawl pelo crawler alvo, confirmando a configuração de Allow/Disallow
  • Extraia declarações de Sitemap para confirmar se o endereço do mapa do site está configurado corretamente, facilitando a descoberta pelos mecanismos de busca

Como Usar

  1. Insira o domínio do site ou a URL completa do robots.txt
  2. A ferramenta obtém e analisa automaticamente o conteúdo das regras do robots.txt, exibindo de forma estruturada
  3. Insira o caminho a ser testado para ver se o crawler alvo pode rastrear
  4. Veja a declaração de Sitemap e a estrutura completa das regras para otimização de SEO e investigação

Recursos

  • Julgue diretamente se um caminho específico está liberado: sem precisar deduzir regras manualmente
  • Ideal para investigar anomalias de indexação: diretórios bloqueados por engano ou regras que afetam indevidamente são facilmente ignorados
  • Declaração de Sitemap vista de passagem: regras de crawl e informações de mapa do site podem ser verificadas juntas
  • Vale a pena revisar após reformulações: atualizações de CMS, ajustes de diretórios e mudanças de regras facilitam a descoberta de problemas

Perguntas frequentes

Como saber se uma página está bloqueada pelo robots.txt?

Insira o endereço e o caminho alvo para que, com base nas regras atuais, seja julgado se o crawler específico tem permissão de acesso. É mais seguro do que ler regras a olho nu.

Se a página não é indexada, pode ser realmente problema do robots.txt?

É possível. Se o robots.txt proibir diretórios ou caminhos relacionados, o mecanismo de busca pode não conseguir rastrear o conteúdo da página normalmente. Verificar primeiro se as regras estão afetando indevidamente é muito necessário.

Pode extrair Sitemap ou outras declarações?

Sim. Além das regras de crawl, muitos robots.txt também declaram o endereço do Sitemap, o que é muito útil para verificação do site e diagnóstico de SEO.

Serve para verificações periódicas após o deploy do site?

Sim. Especialmente após reformulações do site, ajustes de diretórios ou atualizações de CMS, é recomendável verificar novamente se as regras de robots sofreram mudanças inesperadas.