Trình tạo Robots.txt

Đề xuất Liên quan

Về Robots.txt và Giao thức loại trừ trình thu thập dữ liệu

Trường hợp sử dụng

• Cấu hình robots.txt cơ bản trước khi ra mắt trang web mới, làm rõ phạm vi đường dẫn được phép và bị cấm thu thập, hướng dẫn công cụ tìm kiếm thu thập chính xác
• Cập nhật quy tắc Disallow sau khi thiết kế lại trang web để ngăn thư mục cũ tiếp tục được thu thập ảnh hưởng đến phân phối trọng số SEO
• Thêm nhiều địa chỉ Sitemap khai báo giúp công cụ tìm kiếm phát hiện cấu trúc trang toàn trang nhanh hơn, nâng cao hiệu quả lập chỉ mục
• Chặn thư mục quản trị (/admin), môi trường thử nghiệm, thư mục riêng tư tránh bị trình thu thập dữ liệu lập chỉ mục, giảm rủi ro bảo mật
• Đặt lệnh Host chỉ định tên miền ưa thích của trang web (có www hoặc không có www), giảm vấn đề nội dung trùng lặp
• Cấu hình quy tắc thu thập độc lập cho các trình thu thập dữ liệu công cụ tìm kiếm khác nhau (Googlebot, Bingbot, Baiduspider, v.v.)
• Tạm thời cấm trình thu thập dữ liệu truy cập các thư mục đang được bảo trì, mở lại thu thập sau khi cập nhật trang web hoàn thành
• Tạo tệp robots.txt định dạng chuẩn, tránh lỗi định dạng viết tay dẫn đến công cụ tìm kiếm phân tích thất bại
• Cấu hình nhiều Sitemap (như sitemap bài viết, sitemap sản phẩm, sitemap hình ảnh) bao phủ tất cả các loại nội dung toàn trang
• Lập trình viên frontend trình diễn cấu hình quy tắc robots.txt, dạy học hiển thị định dạng chuẩn giao thức trình thu thập dữ liệu
• Kết hợp với công cụ kiểm tra robots.txt xác minh quy tắc tạo ra có phù hợp với kỳ vọng hay không, tránh chặn nhầm các trang quan trọng
• Nhanh chóng tạo mẫu robots.txt, sau khi tải về điều chỉnh nhẹ theo tình hình thực tế của trang web rồi triển khai

Cách Sử dụng

1. Trong ô nhập User-agent chỉ định trình thu thập dữ liệu mục tiêu (mặc định * đại diện cho tất cả các trình thu thập dữ liệu công cụ tìm kiếm)
2. Trong khu vực Allow điền đường dẫn được phép thu thập, mỗi dòng một quy tắc (như /, /blog/)
3. Trong khu vực Disallow điền đường dẫn bị cấm thu thập, mỗi dòng một quy tắc (như /admin, /private)
4. Trong khu vực Sitemap thêm địa chỉ sơ đồ trang web XML (hỗ trợ nhiều dòng), trong khu vực Host điền tên miền ưa thích
5. Khu vực xem trước bên phải hiển thị nội dung robots.txt tạo ra theo thời gian thực, sau khi xác nhận không có lỗi nhấp nút sao chép là có thể triển khai

Tính năng

• Cấu hình độc lập nhiều quy tắc: Khu vực nhập riêng biệt cho User-agent, Allow, Disallow, Sitemap, Host, quy tắc được phân loại rõ ràng không còn trộn lẫn
• Xem trước tạo theo thời gian thực: Nội dung robots.txt cập nhật ngay lập tức sau khi sửa đổi bất kỳ quy tắc nào, không cần nhấp nút tạo thủ công, những gì bạn thấy là những gì bạn nhận được
• Quy tắc dự phòng mặc định: Khi cả Allow và Disallow đều trống, tự động xuất ra Allow: /, tránh tạo tệp trống dẫn đến hành vi không xác định của trình thu thập dữ liệu
• Hỗ trợ nhiều Sitemap: Khu vực Sitemap hỗ trợ nhập nhiều dòng, mỗi URL xuất ra một dòng khai báo Sitemap độc lập, phù hợp cho các trang web có nhiều Sitemap
• Sao chép và triển khai một cú nhấp: Kết quả tạo hỗ trợ sao chép vào bảng tạm một cú nhấp, phù hợp để dán trực tiếp vào thư mục gốc của trang web để triển khai
• Điền sẵn ví dụ mặc định: Khi trang mở ra đã có cấu hình ví dụ mặc định (User-agent: *, Allow: /, Disallow: /admin /private, Sitemap, Host), người mới có thể tham khảo và sửa đổi trực tiếp
• Xuất định dạng chuẩn: Tuân thủ nghiêm ngặt đặc tả Robots Exclusion Protocol, dòng User-agent ở đầu, dòng quy tắc ở sau, Sitemap/Host ở cuối, tương thích với tất cả các công cụ tìm kiếm
• Xử lý đường dẫn thông minh: Tự động cắt khoảng trắng ở đầu và cuối mỗi dòng, lọc các dòng trống, tránh quy tắc không hợp lệ do khoảng trắng thừa
• Bố cục phản hồi hai cột: Trên PC chia hai cột trái phải (cấu hình/xem trước), trên thiết bị di động sắp xếp trên dưới, dễ sử dụng trên cả máy tính để bàn và điện thoại
• Xem trước phông chữ monospaced: Khu vực xem trước sử dụng phông chữ monospaced để hiển thị kết quả tạo, định dạng robots.txt gọn gàng và rõ ràng
• Hỗ trợ lệnh Host: Có thể cấu hình tên miền ưa thích cho Host (được hỗ trợ bởi các công cụ tìm kiếm như Yandex), giảm vấn đề nội dung trùng lặp tên miền
• Hoạt động hoàn toàn cục bộ trên trình duyệt: Tất cả các hoạt động cấu hình và tạo được hoàn thành trong JavaScript cục bộ trên trình duyệt của bạn, không gửi bất kỳ dữ liệu nào đến máy chủ
• Sử dụng ngay lập tức không phụ thuộc: Mở trang là có thể sử dụng, không cần đăng ký đăng nhập, không cần cài đặt bất kỳ phần mềm nào
• Kết nối với công cụ kiểm tra: Liên kết liên quan dẫn thẳng đến công cụ kiểm tra robots.txt, sau khi tạo có thể xác minh ngay quy tắc có chính xác hay không

Câu hỏi Thường gặp

Xử lý sự cố

Thuật ngữ

robots.txt

Tệp văn bản thuần túy được đặt trong thư mục gốc trang web, tuân thủ Robots Exclusion Protocol, dùng để thông báo cho trình thu thập dữ liệu công cụ tìm kiếm tuân thủ những đường dẫn nào được phép/bị cấm thu thập.

Robots Exclusion Protocol (REP)

Giao thức loại trừ trình thu thập dữ liệu, được đề xuất năm 1994, chuẩn hóa thành RFC 9309 năm 2022, là tiêu chuẩn thực tế để giao tiếp quy tắc thu thập giữa trang web và trình thu thập dữ liệu.

User-agent

Trường bắt đầu của nhóm quy tắc, chỉ định tên trình thu thập dữ liệu mà quy tắc Allow/Disallow tiếp theo áp dụng, ký tự đại diện * biểu thị khớp tất cả các trình thu thập dữ liệu.

Disallow

Lệnh cấm thu thập, chỉ định tiền tố đường dẫn không muốn trình thu thập dữ liệu truy cập. Ví dụ Disallow: /admin cấm thu thập tất cả các đường dẫn bắt đầu bằng /admin.

Allow

Lệnh cho phép thu thập, chỉ định đường dẫn rõ ràng cho phép trình thu thập dữ liệu truy cập. Được sử dụng khi mở đường dẫn con cụ thể dưới đường dẫn cha Disallow.

Sitemap

Lệnh khai báo sơ đồ trang web, thông báo cho công cụ tìm kiếm URL hoàn chỉnh của sơ đồ trang web XML của trang web, giúp trình thu thập dữ liệu phát hiện và lập chỉ mục toàn bộ trang trang web hiệu quả.

Host

Lệnh tên miền ưa thích, chỉ định tên miền chính của trang web (như example.com so với www.example.com), Yandex hỗ trợ, Google cài đặt thông qua Search Console.

Crawler/Bot/Spider

Trình thu thập dữ liệu/nhện/robot, chương trình tự động của công cụ tìm kiếm tự động truy cập trang web và thu thập nội dung, như Googlebot, Bingbot, Baiduspider, v.v.

Googlebot

Trình thu thập dữ liệu trang web của công cụ tìm kiếm Google, chịu trách nhiệm thu thập nội dung trang web để Google lập chỉ mục và xếp hạng, là một trong những trình thu thập dữ liệu công cụ tìm kiếm phổ biến nhất.

Crawl Budget

Ngân sách/hạn ngạch thu thập dữ liệu, giới hạn tần suất thu thập và số lượng trang mà công cụ tìm kiếm phân bổ cho mỗi trang web. Cấu hình robots.txt hợp lý có thể tránh lãng phí hạn ngạch thu thập.

Prefix Matching

Quy tắc khớp tiền tố, cách khớp đường dẫn của robots.txt. Đường dẫn URL bắt đầu bằng giá trị quy tắc là khớp thành công, quy tắc càng dài độ ưu tiên càng cao.

noindex

Thẻ meta HTML hoặc lệnh tiêu đề HTTP (X-Robots-Tag: noindex), nói với công cụ tìm kiếm không lập chỉ mục trang này vào chỉ mục tìm kiếm. Khác với Disallow của robots.txt, noindex là cách xóa chỉ mục đáng tin cậy hơn.

Tên User-agent của trình thu thập dữ liệu công cụ tìm kiếm phổ biến

Tên User-agent sử dụng khi cấu hình quy tắc trình thu thập dữ liệu cụ thể:

Ví dụ quy tắc robots.txt phổ biến

Cấu hình quy tắc phổ biến cho các tình huống trang web khác nhau:

Bảng tra cứu lệnh chuẩn robots.txt

Các lệnh chuẩn và cách sử dụng được định nghĩa bởi RFC 9309:

Privacy & Security

Tất cả các hoạt động của Trình tạo Robots.txt này hoàn toàn được hoàn thành cục bộ trên trình duyệt của bạn: User-agent, quy tắc đường dẫn, Sitemap, Host và các đầu vào cấu hình khác tất cả được lắp ráp và tạo văn bản robots.txt theo thời gian thực thông qua JavaScript trong bộ nhớ trình duyệt, không gửi đến bất kỳ máy chủ nào thông qua mạng. Sau khi trang tải là có thể sử dụng, không sử dụng Cookie theo dõi, không thu thập bất kỳ dữ liệu người dùng nào. Sau khi đóng hoặc làm mới trang, tất cả nội dung cấu hình tự động xóa, không lưu trữ liên tục trong trình duyệt.

Authoritative References

• IETFRFC 9309 - Tiêu chuẩn chính thức Robots Exclusion Protocol
• Google Search CentralĐặc tả robots.txt chính thức của Google
• GoogleCông cụ kiểm tra robots.txt (Google Search Console)