Inspector de política robots

Inspector de política robots

Obtiene el robots.txt del sitio, analiza las agrupaciones User-agent y verifica inmediatamente si una ruta permite el rastreo.