Inspecteur de politique robots

Inspecteur de politique robots

Récupère le robots.txt du site, analyse les regroupements User-agent et vérifie immédiatement si un chemin est autorisé à être exploré.