Ispettore criteri robots

Ispettore criteri robots

Recupera il robots.txt del sito, analizza i raggruppamenti User-agent e verifica immediatamente se un percorso è consentito per la scansione.