Inspector de política robots

Inspector de política robots

Obté el robots.txt del lloc, analitza els agrupaments User-agent i verifica immediatament si un camí permet l'exploració.