logo
GeekFormat

Robots.txt 生成器

robots.txt 规则生成

支持多行 Allow / Disallow / Sitemap，自动拼装标准格式。

规则配置
生成结果

在线生成 robots.txt，把抓取规则配明白。

相关推荐

Sitemap Generator

IPv4 转换器

Sitemap Inspector

URL 编码

Unix 时间戳转换

IPv4 Range Expander

适用场景

  • 新站上线前配置基础 robots.txt，明确允许和禁止抓取的路径范围
  • 网站改版后更新 Disallow 规则防止旧目录被继续抓取影响 SEO
  • 添加多个 Sitemap 地址声明帮助搜索引擎更快发现全站结构
  • 屏蔽后台、测试或敏感目录避免被爬虫收录降低安全风险
  • 设置 Host 指令指定站点首选域名减少重复内容问题

功能特点

  • 多规则独立配置：User-agent、Allow、Disallow、Sitemap、Host 各自独立输入区，规则不再挤在一起
  • 实时预览生成：修改任意规则后 robots.txt 内容即时更新，无需手动点击生成按钮
  • 默认兜底规则：当 Allow 和 Disallow 均为空时自动输出 Allow: /，避免生成空白文件
  • 多 Sitemap 支持：Sitemap 区域支持多行输入，每个 URL 独立输出一行 Sitemap 声明
  • 一键复制部署：生成结果支持一键复制，适合直接粘贴到网站根目录使用

使用方法

  1. 设置 User-agent 指定爬虫（默认 * 代表所有搜索引擎）
  2. 填写允许抓取（Allow）路径，每行一条规则
  3. 填写禁止抓取（Disallow）路径，每行一条规则
  4. 添加 Sitemap 地址（支持多行）和 Host 首选域名
  5. 右侧实时预览生成的 robots.txt 内容并一键复制

常见问题

robots.txt 是干什么的？为什么网站要有这个文件？

robots.txt 用来告诉搜索引擎爬虫哪些路径可以抓取、哪些禁止访问，是站点抓取管理和 SEO 基础设置的核心文件，放在网站根目录下。

Allow 和 Disallow 都为空时会生成什么内容？

当 Allow 和 Disallow 均未填写时，生成器会自动输出 Allow: / 作为兜底规则，表示允许抓取整个站点，避免生成空白文件导致爬虫行为不确定。

可以配置多个 Sitemap 地址吗？

可以。Sitemap 区域支持多行输入，每个 URL 会独立输出一行 Sitemap 声明，适合站点有多个站点地图文件的场景。

Host 指令的作用是什么？

Host 指令用于指定站点的首选域名（如 geekformat.com），帮助搜索引擎识别主域名，减少 www 和非 www 版本的重复内容问题。部分搜索引擎（如 Yandex）支持此指令。

生成的 robots.txt 如何部署到网站？

点击复制按钮将生成内容复制到剪贴板，然后粘贴到网站根目录下的 robots.txt 文件中，确保可通过 https://yourdomain.com/robots.txt 访问即可生效。