Robots.txt生成器
为您的网站创建robots.txt文件。控制搜索引擎爬虫、屏蔽AI机器人并管理站点地图。
⚠️ 输入网址 (https://example.com)
🕷️ 规则
常见的屏蔽路径
站点地图
📄 robots.txt
💡 请将此文件上传到网站根目录： https://yoursite.com/robots.txt
关于 robots.txt
- • robots.txt 告诉搜索引擎爬虫可以请求网站的哪些部分。
- • 该文件只有放在域名根目录才生效：https://example.com/robots.txt。
- • Disallow: / 会屏蔽整个网站；留空的 Disallow: 则允许全部抓取。
- • 在这里屏蔽某个网址并不会把它从搜索结果中移除——那需要 noindex 或密码保护。
- • GPTBot、CCBot 等 AI 爬虫是自愿遵守 robots.txt 的；这个文件是请求，不是锁。
- • Sitemap: 一行必须写出站点地图的完整绝对网址。
Robots.txt生成器
我们的免费Robots.txt生成器帮助您创建格式正确的robots.txt文件。
热门工具
关于Robots.txt生成器
Robots.txt 生成器可以逐条规则地生成爬虫指令文件：先选择 User-agent，再添加 Allow 和 Disallow 路径，然后设置 Crawl-delay 或一个及多个 Sitemap URL。复选框已列出网站常屏蔽的路径，例如 /wp-admin/、/cart/ 和 /*.pdf$；预设则涵盖全部允许、全部禁止、WordPress、电商，以及屏蔽 GPTBot、CCBot、anthropic-ai 等 AI 爬虫。文件在您的浏览器中生成，可复制或下载为 robots.txt。
使用场景
如何使用
如果有合适的预设，就从预设开始：Allow All、Block All、WordPress、Block AI Bots 或 E-commerce，然后在生成的内容上继续修改。
在 Site URL 中填入你的域名，例如 https://example.com，站点地图那一行会据此生成。
在每条规则中从 User-Agent 下拉菜单选择一个爬虫，然后用 + Add Disallow 和 + Add Allow 填写 /admin/ 这样的路径；用 + Add User-Agent Rule 可以添加更多爬虫。
在 Common Paths to Block 中勾选需要屏蔽的条目并点击 Apply to Rule 1；如果想放慢某个爬虫，可在 Crawl Delay 中设置秒数。
在 Sitemaps 中保持勾选 Auto-add /sitemap.xml，或用 + Add Sitemap 添加其他站点地图 URL。
查看右侧的 robots.txt 预览，然后点击 Download 或 Copy，并把文件上传到域名的根目录。
专业提示
- 直接粘贴内容即可——robots.txt 生成器会识别常见的输入格式并自动套用合理的默认设置。
- 善用键盘快捷键（Ctrl/Cmd+A 全选，Ctrl/Cmd+C 复制），在 robots.txt 生成器中操作更高效。
- 输入内容非常大时建议分批处理——浏览器标签页通常能承载数兆字节的文本，但解析超大数据可能让界面短暂卡顿。
- robots.txt 生成器不会记录或保存你的输入。如果需要留存记录，请把重要结果复制到本地文件或笔记应用中。
- 把 robots.txt 生成器和站内其他工具（格式化、转换、编码工具）搭配使用，无需离开浏览器就能完成完整的数据处理流程。
常见问题解答
完全免费：无需注册，不用 API 密钥，没有水印，也没有使用次数限制。
不会。robots.txt 生成器完全在你的浏览器本地运行，输入内容不会经过我们的服务器。
没有硬性上限，但输入超过几兆字节后速度会变慢，具体取决于设备的内存。
可以。用 robots.txt 生成器生成的结果归你所有，可以自由用于任何个人或商业项目。
大部分逻辑都由浏览器端的 JavaScript 完成，因此首次加载之后，通常没有网络也能继续使用。
没有。robots.txt 生成器在你的浏览器中运行，只要硬件跟得上，处理多少内容都可以，既不需要 API 密钥，也不会被限流。