สร้าง Robots.txt

คำแนะนำที่เกี่ยวข้อง

กรณีการใช้งาน

• สร้าง robots.txt เวอร์ชันพื้นฐานก่อนเว็บไซต์ใหม่เปิดใช้งาน ป้องกันไดเรกทอรีสำคัญถูกบล็อกผิดหรือปล่อยให้ทั้งหมดโล่ง
• อัปเดตกฎ Disallow หลังแก้ไขเว็บไซต์ ป้องกันไดเรกทอรีเก่ายังถูกครอว์ลส่งผลต่อ SEO
• ประกาศที่อยู่ Sitemap ช่วยเครื่องมือค้นพบโครงสร้างเว็บไซต์ทั้งหมดเร็วขึ้นเพิ่มประสิทธิภาพการเก็บเข้าดัชนี
• บล็อกหลังบ้าน, ทดสอบหรือไดเรกทอรีอ่อนไหว ป้องกันครอว์ลเลอร์เก็บเข้าดัชนีลดความเสี่ยงความปลอดภัย

คุณสมบัติ

• สร้างกฎทั่วไปโดยตรง: ไม่ต้องกังวลว่าไวยากรณ์ผิดจะส่งผลต่อการครอว์ล
• ใช้บ่อยทั้งเว็บไซต์ใหม่และแก้ไข: กำหนดสิ่งที่ควรเปิดและสิ่งที่ควรบล็อกก่อนเปิดใช้งาน
• ลดข้อผิดพลาดรูปแบบ: ลดความเสี่ยงไวยากรณ์ robots.txt จากการเขียนด้วยมือผ่านการป้อนข้อมูลแบบเห็นภาพ
• สร้างแล้วปรับใช้ได้ทันที: ผลลัพธ์เหมาะสำหรับการคัดลอกแล้ววางในไดเรกทอรีรากเว็บไซต์

วิธีการใช้งาน

1. เลือกครอว์ลเลอร์เครื่องมือค้นหา (User-agent) ที่ต้องการกำหนดค่า เช่น Googlebot, Baiduspider เป็นต้น
2. ตั้งค่ากฎเส้นทางที่อนุญาตครอว์ล (Allow) และห้ามครอว์ล (Disallow)
3. เพิ่มที่อยู่ Sitemap ประกาศช่วยเครื่องมือค้นพบแผนผังเว็บไซต์
4. สร้างเนื้อหา robots.txt และคัดลอกไปปรับใช้ในไดเรกทอรีรากเว็บไซต์

คำถามที่พบบ่อย