robots.txt生成器
SEO Tools
加载中...
关于此工具
免费、无服务器的robots.txt生成器。可视化爬虫规则构建器。包含Googlebot、GPTBot、ChatGPT的预设。数据不会离开浏览器。
使用方法
- 添加爬虫规则
- 或加载预设配置
- 可选输入站点地图URL和主机
- 点击生成
常见问题
有哪些预设规则？
包括所有爬虫、Googlebot、AdsBot、GPTBot、ChatGPT-User和CCBot的规则。
站点地图字段有什么用？
告诉搜索引擎您的XML站点地图的位置。
可以阻止AI爬虫吗？
是的，预设包含阻止GPTBot、ChatGPT-User和CCBot的规则。
有哪些使用场景？
SEO配置、索引控制、爬虫阻止和AI机器人访问管理。