Инспектор политики robots

Инспектор политики robots

Получает robots.txt сайта, анализирует группировки User-agent и немедленно проверяет, разрешено ли сканирование пути.