Inspetor de política robots

Inspetor de política robots

Busca o robots.txt do site, analiza os agrupamentos de User-agent e verifica imediatamente se um caminho é permitido para rastreamento.