上一篇我们讲了给官网补 Schema 结构化数据,更早之前讲了配 llms.txt。这两件事都是在"主动喂"AI。但还有一件更基础的事,多数企业官网从来没检查过:robots.txt。
这个放在网站根目录的小文件,决定了所有爬虫——包括 Google 和各家 AI 的爬虫——能不能进你的网站。最近两周,多家 AI 公司联合推动了一个统一的 robots.txt 声明标准(Content-Signal),加上 Cloudflare 的分析数据显示 AI 爬虫访问量在快速上升,这件事已经从"技术人员的事"变成了"企业内容资产策略"的一部分。

一句话结论:对绝大多数企业来说,正确的做法是——放行所有给 AI 搜索供料的爬虫,单独决定要不要放行"训练用"爬虫,并且绝对不要误伤 Google。
很多网站的 robots.txt 要么完全没管 AI,要么一刀切全禁。问题出在没分清 AI 爬虫干的是两种活:
这两拨爬虫用的是不同的标识。禁掉训练型的,不影响你出现在 Google 搜索里;禁掉搜索型的,等于主动退出 AI 引用——对企业官网来说,这通常是最不划算的选择。
大多数企业的合理策略是:要引用、不白给训练。下面这份模板就是按这个思路写的:
# 训练型爬虫:谢绝
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
# 其余所有爬虫(包括搜索和 AI 搜索引用):欢迎
User-agent: *
Allow: /
Sitemap: https://你的域名/sitemap.xml
如果你的立场是"内容随便用,欢迎训练"——删掉上面禁令部分即可。如果连 AI 搜索引用也不要,把 OAI-SearchBot、ChatGPT-User、PerplexityBot 等也加进禁令列表。
另外,Cloudflare 牵头的 Content-Signal 新指令可以用一行表达这种细粒度偏好:
意思是:不许拿去训练,但欢迎进 AI 搜索结果、欢迎被当作回答素材。目前它是一种"声明偏好",没有强制力,所以建议和上面的显式禁令同时使用。
User-agent: * 下面写 Disallow: /——这一行会禁掉包括 Googlebot 在内的所有爬虫,你的搜索排名直接归零。曾有不少企业的 staging 测试站配置被误搬到正式站,酿成事故。AI 相关禁令要单独成组。https://你的域名/robots.txt,逐行读一遍,确认没有语法错误和误伤规则;到这里,官网的"AI 可读性三件套"就齐了:
三件事加起来的开发量不超过半天,但决定了你的官网在 AI 生成回答里是被引用、被说错,还是根本不存在。