robots.txt 生成器

配置 Allow/Disallow 与 Sitemap 地址，一键生成标准 robots.txt 文本。

隐私提示：本地解析，不上传服务器。

↓ 在下方输入区粘贴内容，结果会立即显示

生成 robots.txt 爬虫规则草案，可指定 sitemap 与 Disallow 路径。

允许全部路径 (Allow: /)

Sitemap URL

robots.txt

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

将输出保存为站点根目录 /robots.txt; 生产环境请结合 SEO 策略调整规则。

配置 Allow/Disallow 与 Sitemap 地址，一键生成标准 robots.txt 文本。

将生成内容保存为站点根目录 /robots.txt，并确保 CDN 不缓存错误版本。

使用 robots.txt 生成器时，首先确定需要屏蔽的敏感目录（如 /admin/ 或 /tmp/），同时开放希望被收录的公开页面。工具提供可视化勾选框，无需手动编写 Disallow 规则。最后添加网站地图 URL，点击生成即可获得符合所有搜索引擎标准的文本文件。

生成后，建议先在测试环境验证爬虫行为。可通过 Google Search Console 的 robots.txt 测试工具检查规则是否生效。确认无误后，再将文件上传至网站根目录。注意：修改生效可能需要 24-48 小时，期间可观察爬虫日志确认变更。

Input

Allow all + sitemap

Output

User-agent: *
Allow: /
Sitemap: ...

支持多 User-agent 吗？

当前生成通配符 * 规则; 特殊爬虫可手动追加段落。

robots.txt 修改后为什么搜索引擎不立即生效？

搜索引擎会定期缓存 robots.txt 文件（通常 24-48 小时）。紧急更新可通过 Search Console 提交重新抓取请求，但完全生效仍需等待缓存过期。请注意：robots.txt 仅指导爬虫，不能强制删除已收录页面。