Robots.txt 產生器

相關推薦

適用場景

• 新站上線前先生成一版基礎 robots.txt，避免重要目錄被誤封或全部裸放
• 網站改版後更新 Disallow 規則防止舊目錄被繼續擷取影響 SEO
• 聲明 Sitemap 位址幫助搜尋引擎更快發現全站結構提升收錄效率
• 封鎖後台、測試或敏感目錄避免被爬蟲收錄降低安全風險

功能特點

• 常用規則直接產生：不用再擔心語法寫錯影響擷取
• 新站和改版都常用：上線前先把該放開的放開、該擋的擋住
• 減少格式錯誤：透過視覺化輸入降低手寫 robots.txt 的語法風險
• 產生即可部署：結果適合一鍵複製後放到網站根目錄使用

使用方法

1. 選擇需要設定的搜尋引擎爬蟲（User-agent）如 Googlebot、Baiduspider 等
2. 設定允許擷取（Allow）和禁止擷取（Disallow）的路徑規則
3. 新增 Sitemap 位址聲明幫助搜尋引擎發現網站地圖
4. 產生 robots.txt 內容並一鍵複製到網站根目錄部署

常見問題