Robots.txt 检查器
robots 策略检查
抓取站点 robots.txt，解析 User-agent 分组，并立即验证某个路径是否允许抓取。
在线检查 robots.txt，某条路径能不能抓马上看清。
抓取站点 robots.txt，解析 User-agent 分组，并立即验证某个路径是否允许抓取。
在线检查 robots.txt，某条路径能不能抓马上看清。
输入目标 URL、User-agent（如 Googlebot）和路径后，工具会结合当前规则判断该爬虫是否允许访问，并显示匹配的规则组和原因说明。
有可能。如果 robots.txt 的 Disallow 规则禁止了相关目录或路径，搜索引擎爬虫将无法正常抓取页面内容。先检查规则是否误伤是很有必要的排查步骤。
工具会自动提取 robots.txt 中所有 Sitemap 声明并单独展示，方便确认站点地图地址是否正确配置，帮助搜索引擎更快发现全站结构。
robots.txt 中每个 User-agent 对应一组 Allow/Disallow 规则。工具会显示测试路径匹配到了哪些 User-agent 组的规则，帮助理解爬虫实际遵循的抓取策略。
适合。尤其是站点改版、目录调整、CMS 更新后，建议重新检查 robots.txt 规则是否发生意外变化，避免重要页面被误封或敏感目录被暴露。