Verificador de robots.txt

Inspetor de política robots

Busca o robots.txt do site, analiza os agrupamentos de User-agent e verifica imediatamente se um caminho é permitido para rastreamento.

Verifique robots.txt online e veja imediatamente se um caminho pode ser rastreado.

Sugestões Relacionadas

Gerador de robots.txt

Caixa de Ferramentas IPv6

Consulta de MX

Gerador de Query String

Ferramenta de Tempo

Gerador de Slug

Casos de uso

Quando a página demora para ser indexada, primeiro confirme se o robots.txt não está bloqueando o caminho correspondente
Após reformulação do site, verifique se as novas regras de crawler estão funcionando conforme esperado, evitando regras antigas residuais
Teste se caminhos de URL específicos permitem o crawl pelo crawler alvo, confirmando a configuração de Allow/Disallow
Extraia declarações de Sitemap para confirmar se o endereço do mapa do site está configurado corretamente, facilitando a descoberta pelos mecanismos de busca

Recursos

Julgue diretamente se um caminho específico está liberado: sem precisar deduzir regras manualmente
Ideal para investigar anomalias de indexação: diretórios bloqueados por engano ou regras que afetam indevidamente são facilmente ignorados
Declaração de Sitemap vista de passagem: regras de crawl e informações de mapa do site podem ser verificadas juntas
Vale a pena revisar após reformulações: atualizações de CMS, ajustes de diretórios e mudanças de regras facilitam a descoberta de problemas

Como Usar

Insira o domínio do site ou a URL completa do robots.txt
A ferramenta obtém e analisa automaticamente o conteúdo das regras do robots.txt, exibindo de forma estruturada
Insira o caminho a ser testado para ver se o crawler alvo pode rastrear
Veja a declaração de Sitemap e a estrutura completa das regras para otimização de SEO e investigação

Perguntas frequentes

Como saber se uma página está bloqueada pelo robots.txt?

Insira o endereço e o caminho alvo para que, com base nas regras atuais, seja julgado se o crawler específico tem permissão de acesso. É mais seguro do que ler regras a olho nu.

Se a página não é indexada, pode ser realmente problema do robots.txt?

É possível. Se o robots.txt proibir diretórios ou caminhos relacionados, o mecanismo de busca pode não conseguir rastrear o conteúdo da página normalmente. Verificar primeiro se as regras estão afetando indevidamente é muito necessário.

Pode extrair Sitemap ou outras declarações?

Sim. Além das regras de crawl, muitos robots.txt também declaram o endereço do Sitemap, o que é muito útil para verificação do site e diagnóstico de SEO.

Serve para verificações periódicas após o deploy do site?

Sim. Especialmente após reformulações do site, ajustes de diretórios ou atualizações de CMS, é recomendável verificar novamente se as regras de robots sofreram mudanças inesperadas.