Robots.txt檢查

robots 策略檢查

抓取站點 robots.txt，解析 User-agent 分組，並立即驗證某個路徑是否允許抓取。

線上檢查 robots.txt，某條路徑能不能抓馬上看清。

相關推薦

Robots.txt 產生器

IPv6 工具箱

MX 查詢工具

URL 參數產生器

時間工具

Slug 產生器

適用場景

  • 頁面遲遲不收錄時，先確認是不是 robots.txt 把對應路徑擋住了
  • 網站改版後驗證新的爬蟲規則是否按預期生效避免舊規則殘留
  • 測試特定 URL 路徑是否允許目標爬蟲擷取確認 Allow/Disallow 設定
  • 擷取 Sitemap 聲明確認網站地圖位址是否正確設定便於搜尋引擎發現

使用方法

  1. 輸入網站網域或 robots.txt 完整 URL 位址
  2. 工具自動取得並解析 robots.txt 規則內容並結構化展示
  3. 輸入需要測試的路徑查看是否允許目標爬蟲擷取
  4. 查看 Sitemap 的聲明和完整規則結構用於 SEO 優化和排查

功能特點

  • 指定路徑是否放行直接判斷：不用手工套規則推演
  • 收錄異常更適合先查這裡：目錄誤封、規則誤傷很容易被忽略
  • Sitemap 聲明順手就看：擷取規則和網站地圖資訊可以一起核對
  • 改版後很值得複查：CMS 更新、目錄調整、規則變更後都能及時發現問題

常見問題

怎麼判斷某個頁面是否被 robots.txt 禁止擷取？

輸入目標位址和路徑後，就能結合當前規則判斷指定爬蟲是否允許存取，這比單純肉眼讀規則更穩。

頁面沒收錄，真的可能是 robots.txt 的問題嗎？

有可能。如果 robots.txt 禁止了相關目錄或路徑，搜尋引擎可能無法正常擷取頁面內容。先檢查規則是否誤傷是很有必要的。

可以擷取 Sitemap 或其他聲明嗎？

可以。除了擷取規則外，很多 robots.txt 還會聲明 Sitemap 位址，這對網站檢查和 SEO 診斷也很有幫助。

適合網站上線後定期檢查嗎？

適合。尤其是網站改版、目錄調整、CMS 更新後，建議重新檢查 robots 規則是否發生意外變化。