登录
2026 年 10 月 30 日，谷歌、微软、OpenAI 与 Anthropic 先后表态，支持同一个 robots.txt 共享信号 `__usage_ai-training`：网站写一个组，就能同时拒绝这四家拿自家内容训练生成式模型，不用再给 GPTBot、ClaudeBot、Google-Extended 一家一家写规则。 但它离“标准已定”还有距离——写法出自 Anthropic 标准负责人 Kevin Kelley 当天提交的 IETF 个人草案，未经 IETF 背书，语法到期前还可能修订。 站长们等这个开关等了很久：Cloudflare 更新的数据显示，整个互联网上来自 AI 的访问流量已经正式超过人类网民。 先泼一盆冷水：按各家公布的执行表，这更像提前表态，不是今天就合上的开关——今天就把旧防线拆掉的，拆早了。知乎知乎微博
这一行怎么写，容易错在哪
语法完全沿用 robots.txt 的旧体系，不新增指令。整站退出就写 `User-Agent: __usage_ai-training` 一组，下面跟 `Disallow: /`；要留例外用 `Allow:` 放行指定目录，草案自己的例子就是整站拒绝、仅放行新闻资料包。 两个细节决定这行字算不算数：只有显式写出这个 token 的组才表达训练偏好，`User-Agent: *` 通配不算数；不识别该 token 的解析器会忽略整组，不影响站内其他规则，所以“先加上”本身风险很低。知乎知乎
它管的范围也要掰清楚：爬虫照样可以来，搜索收录也不受影响，它管的是内容被拿去之后能不能用来改生成式模型的参数，纯做排序、分类的模型不在范围内。知乎
四家的时间表，没有一家是今天
Anthropic：已经开始实施，但作者本人承认，覆盖全部服务还需要时间，还会遇到边界情况。知乎
OpenAI：只给了“未来几个月”的说法，没有具体日期，现有 GPTBot 等控制继续有效。知乎
微软：Bing 博客确认自 2027 年 2 月 1 日起随抓取执行新偏好；2026 年 12 月 15 日起在 Bing Webmaster Tools 为使用旧 NoArchive、NoCache 标记的站点开放临时 Grounding 设置，2027 年 3 月 1 日旧标记迁移截止，临时设置到 2027 年 9 月 30 日过期。知乎知乎
谷歌：定在 2027 年初落地。知乎
Meta 表态支持统一方向，但没有承诺落实这个标识——准确的说法是“四家承诺、Meta 未承诺”，不是全行业统一。知乎
最容易踩的两根带电细线
第一根在谷歌：只用共享信号整站退出、又没有单独点名 Google-Extended 的站点，会被按禁用 Google-Extended 处理——搜索收录照常，但内容进入 Gemini 回答引用的资格就此关闭；想保留 AI 引用流量的，写新组之前得先把 Google-Extended 的现有设置单独放行写清楚。知乎
第二根是微软把“训练”和“引用”拆成了两个开关：Grounding 偏好写在页面 meta 或响应头里、分三档，它明确说明这些选择不改变普通 Bing 搜索结果的资格，但限制 Grounding 会显著降低内容在 AI 回答中的可见度——只想关训练、不想连引用一起关的，两个决定必须分开做。知乎
这行字管不到的三件事
不管过去：偏好按抓取时网站上的 robots.txt 判断，已经抓走、已经训进模型的内容，这行字追不回来。 不管强制：它是自愿信号，OpenAI 自己就表示不保证绝对排除。 不管结算：退出只是回答“能不能拿去训练”，微软明确这不会确立授权或付费关系——该谈的版权合同、该打的官司，仍然在另一条线上并行。知乎知乎知乎
对国内站长，还有一层要单独看：这次表态的四家都是境外厂商，国内大模型厂商不在其中，这一行声明也替代不了国内法规对训练数据的要求——《生成式人工智能服务管理暂行办法》要求提供者使用具有合法来源的数据，那是另一套义务。知乎
站长现在该做的：加新、留旧、等重抓
第一步，把 `__usage_ai-training` 组加上，但 GPTBot、ClaudeBot、Google-Extended 的旧规则一条都别删——新信号不替代旧控制，而且页面规则要等各家重新抓取才更新，改完立刻去查是没有意义的。 第二步，靠 AI 引用带流量的站点先自查 Google-Extended 与必应 Grounding 的现有配置，再决定退到哪一层。第三步，只发布在平台上的创作者这个开关暂时用不上——robots.txt 是网站根目录的文件，平台的文件你改不了，能做的只有盯平台自己的训练偏好设置。之后把 2027 年初各家落地日期记进日历：等到微软和谷歌真开始认这行字，再考虑清理冗余旧规则。知乎
一行字让“不让 AI 学”第一次有了统一写法，但也仅此而已——四家走到同一张表态时间表背后，是监管与内容行业多年施压：谷歌就把这一信号同欧盟 AI Act 的 GPAI 行为准则联系起来。 对站长来说，它解决的是表达成本，不是执行问题：旧防线留着，新开关写上，然后等 2027 年看它合不合得上。知乎
