ตรวจสอบ Robots.txt
ตัวตรวจสอบนโยบาย robots
ดึง robots.txt ของไซต์, แยกวิเคราะห์การจัดกลุ่ม User-agent, และตรวจสอบทันทีว่าเส้นทางได้รับอนุญาตให้เรียกดูหรือไม่
ตรวจสอบ robots.txt ออนไลน์ ดูทันทีว่าเส้นทางใดครอว์ลได้หรือไม่
ดึง robots.txt ของไซต์, แยกวิเคราะห์การจัดกลุ่ม User-agent, และตรวจสอบทันทีว่าเส้นทางได้รับอนุญาตให้เรียกดูหรือไม่
ตรวจสอบ robots.txt ออนไลน์ ดูทันทีว่าเส้นทางใดครอว์ลได้หรือไม่
ป้อนที่อยู่เป้าหมายและเส้นทาง จะตัดสินได้ว่าครอว์ลเลอร์ที่ระบุอนุญาตให้เข้าถึงหรือไม่ตามกฎปัจจุบัน ซึ่งเสถียรกว่าการอ่านกฎด้วยตาเปล่า
เป็นไปได้ หาก robots.txt ห้ามไดเรกทอรีหรือเส้นทางที่เกี่ยวข้อง เครื่องมือค้นหาอาจไม่สามารถครอว์ลเนื้อหาหน้าได้ การตรวจสอบกฎว่าผิดหรือไม่เป็นสิ่งที่จำเป็น
ได้นอกจากกฎการครอว์ลแล้ว robots.txt หลายแห่งยังประกาศที่อยู่ Sitemap ซึ่งมีประโยชน์ต่อการตรวจสอบเว็บไซต์และการวินิจฉัย SEO
เหมาะโดยเฉพาะหลังแก้ไขเว็บไซต์, ปรับไดเรกทอรี, อัปเดต CMS แนะนำให้ตรวจสอบกฎ robots ใหม่ว่ามีการเปลี่ยนแปลงที่ไม่คาดคิดหรือไม่