AI 说人话：不想让 AI 拿你的网站训练模型，robots.txt 里加一行就行

1. 发生了什么

四家不是发一篇联合通稿，是各自发的公告，但指向同一份草案。

草案名叫 Machine-Readable Training Preference Signal，作者是 Anthropic 的 Kevin Kelley，10 月 30 日挂上 IETF 的 AI Preferences 工作组。名字挺长，意思很短：给你一个统一的「用途标签」，让各家 AI 公司读同一句话。

当天 OpenAI、Google、微软各自发了公告。OpenAI 说会认这个信号，目标「未来几个月内」实现，并强调「这个新信号不会取代我们已经在 robots.txt 里提供的控制项」。Google 由 Search Advocate John Mueller 发文，目标定为 2027 年，爬虫文档写得更细：2027 年初。

Anthropic 官网当天没发独立公告，但草案作者是它的人，多家报道称 Anthropic 已经开始实施支持。

2. 概念翻译：这一行到底在说什么

语法特别简单，就是在 robots.txt 里加一个普通的组：

User-Agent: __usage_ai-training

Disallow: /

Allow: /press-kit/

User-Agent 那行写上这个 token，后面的 Allow、Disallow 还是你熟的那套路径规则。草案说得很清楚：不引入任何新指令名、不改 robots.txt 语法，路径语言、最长匹配优先、组结构全都保持原样。

所以这个 token 叫「policy token（策略令牌）」——它不是给爬虫看的，是给「这段内容拿去干嘛用」看的。读它的不是搜索引擎，是那些要决定拿你的内容去训练模型的 AI 公司。

有个细节挺关键：这行不需要真的出现在请求的 User-Agent 头里。AI 公司来爬你时不会伪装成它宣告身份，它是自己去读你 robots.txt 里的这行。

还有一点是这件事的全部意义：草案写明这个 token 是「跨厂商」的。以前你得给每家公司写一条规则，名单还一直变；现在写一次，读它的公司自己会认。

3. 但它管不了三件事

第一，管不了「以前」。已经被抓走、已经进过训练集的内容，这行救不回来。草案明确：某个资产适用哪个偏好，看的是它被抓取当时生效的那份 robots.txt。这是给未来设的闸门，不是时光机。

第二，管不了「抓不抓」。草案专门有一节说，这个 token 不是抓取指令，它管内容使用，不管流量管理。想不让它爬你的页面，还得用 GPTBot、ClaudeBot 那些具体 user agent 的组去拦。两套东西写在同一个文件里，但各管各的。

第三，它没有强制力。草案是个人提交版本，IETF 明确写着它还没被背书、在标准流程里没有正式地位，各家也都是自愿加入。草案里还留了一句：私人协议可以覆盖你在这里表达的偏好。这是各家对你请求的回应，不是法律，也不是开关。

还有个容易混的点：它管的是「训练」，不是「检索」。AI 拿你的内容去查资料、做实时引用，属于 grounding 那一类，训练 token 管不到。微软这次拆成两个设置：AI Training 和 AI Grounding，还加了个 DisallowExtended，意思是「可以给 Copilot、Microsoft 365 用，但别卖给我提供的第三方 grounding 服务」。微软提醒，选后两个会「显著降低你在 AI 生成体验里的可见度」，但不影响 Bing 搜索结果的收录资格。

4. 四家的进度不一样

同一个信号，四家排的班不一样：

Anthropic 已经开始实施（据报道）。OpenAI 说未来几个月内实现。微软定在 2027 年 2 月 1 日开始按新偏好来抓，还在用 NoArchive、NoCache 的站点，微软让在 2027 年 3 月 1 日前迁移。Google 目标是 2027 年，爬虫文档写的是 2027 年初。

微软那条时间线要注意：一旦微软在某个站上发现了新的 AI Training 或 AI Grounding 偏好，它会「忽略」残留的 NoArchive 和 NoCache。这不是叠加，是替换。而且没表达 grounding 偏好时，你的内容「可能被用来帮助生成回答」——默认允许。

Google 那边还有个细节：用这个 token 拒绝了训练、但没单独写 Google-Extended，Google 会当作「你已经禁了 Google-Extended」。反过来，明确 Allow 了它，你的站就有机会在 Gemini 回答里出现并拿到点击。

最后提醒：这些偏好都不改变你在普通搜索里的排名。微软说不影响 Bing 搜索结果的收录资格，Google-Extended 也不是排名信号。

5. 下一步怎么做

给站点和内容站的，三条：

1. 先加，别急着删。写一组 User-Agent: __usage_ai-training 加 Disallow: /，风险极低——不认识这个 token 的解析器会像对待陌生 user agent 一样忽略它。但你现有的 GPTBot、ClaudeBot、Google-Extended 规则别动，OpenAI 说了新信号不取代旧控制项。

2. 顺手把「训练」和「引用」分开想。你到底是不想被训练，还是不想被 AI 引用？想清楚才知道要不要动 grounding 那一层。

3. 记一个日期：2027 年 3 月 1 日。微软的 NoArchive、NoCache 迁移截止在这天。

给只是用 AI 的普通人，这条基本不影响你——这些规则是站长写的。你只要留意：内容站收紧 grounding 后，AI 给你的答案里可能少一些引用和链接。跟你没关系，但你得知道答案为什么变「薄」了。

给做 AI 产品的，这条值得抄进产品文档：内容来源方开始有统一的表达偏好的标准了，抓取策略该开始读这个 token 了。