Trình kiểm tra chính sách robots

Trình kiểm tra chính sách robots

Tìm nạp robots.txt của trang web, phân tích nhóm User-agent và ngay lập tức xác minh liệu một đường dẫn có được phép thu thập hay không.