Inspektor zasad robots

Inspektor zasad robots

Pobiera robots.txt strony, analizuje grupowanie User-agent i natychmiast weryfikuje, czy ścieżka może być crawlowana.