Robots.txt Inspector
Ispettore criteri robots
Recupera il robots.txt del sito, analizza i raggruppamenti User-agent e verifica immediatamente se un percorso è consentito per la scansione.
Controlla il tuo robots.txt online: scopri subito se un percorso può essere scansionato.