robots-Richtlinien-Inspektor

robots-Richtlinien-Inspektor

Ruft die robots.txt der Site ab, analysiert User-agent-Gruppierungen und verifiziert sofort, ob ein Pfad gecrawlt werden darf.