robots-beleidinspecteur

robots-beleidinspecteur

Haalt de robots.txt van de site op, parseert de User-agent-groeperingen en verifieert onmiddellijk of een pad mag worden gecrawld.