ตัวตรวจสอบนโยบาย robots

ตัวตรวจสอบนโยบาย robots

ดึง robots.txt ของไซต์, แยกวิเคราะห์การจัดกลุ่ม User-agent, และตรวจสอบทันทีว่าเส้นทางได้รับอนุญาตให้เรียกดูหรือไม่