logo
GeekFormat

Robots.txt檢查

robots 策略檢查

抓取站點 robots.txt，解析 User-agent 分組，並立即驗證某個路徑是否允許抓取。

線上檢查 robots.txt，某條路徑能不能抓馬上看清。

相關推薦

Robots.txt 產生器

IPv6 工具箱

MX 查詢工具

URL 參數產生器

時間工具

Slug 產生器

適用場景

  • 頁面遲遲不收錄時，先確認是不是 robots.txt 把對應路徑擋住了
  • 網站改版後驗證新的爬蟲規則是否按預期生效避免舊規則殘留
  • 測試特定 URL 路徑是否允許目標爬蟲擷取確認 Allow/Disallow 設定
  • 擷取 Sitemap 聲明確認網站地圖位址是否正確設定便於搜尋引擎發現

功能特點

  • 指定路徑是否放行直接判斷：不用手工套規則推演
  • 收錄異常更適合先查這裡：目錄誤封、規則誤傷很容易被忽略
  • Sitemap 聲明順手就看：擷取規則和網站地圖資訊可以一起核對
  • 改版後很值得複查：CMS 更新、目錄調整、規則變更後都能及時發現問題

使用方法

  1. 輸入網站網域或 robots.txt 完整 URL 位址
  2. 工具自動取得並解析 robots.txt 規則內容並結構化展示
  3. 輸入需要測試的路徑查看是否允許目標爬蟲擷取
  4. 查看 Sitemap 的聲明和完整規則結構用於 SEO 優化和排查

常見問題

怎麼判斷某個頁面是否被 robots.txt 禁止擷取？

輸入目標位址和路徑後，就能結合當前規則判斷指定爬蟲是否允許存取，這比單純肉眼讀規則更穩。

頁面沒收錄，真的可能是 robots.txt 的問題嗎？

有可能。如果 robots.txt 禁止了相關目錄或路徑，搜尋引擎可能無法正常擷取頁面內容。先檢查規則是否誤傷是很有必要的。

可以擷取 Sitemap 或其他聲明嗎？

可以。除了擷取規則外，很多 robots.txt 還會聲明 Sitemap 位址，這對網站檢查和 SEO 診斷也很有幫助。

適合網站上線後定期檢查嗎？

適合。尤其是網站改版、目錄調整、CMS 更新後，建議重新檢查 robots 規則是否發生意外變化。