登录
10月30日，OpenAI、谷歌、微软和Anthropic宣布共同支持robots.txt里的同一条退出信号`__usage_ai-training`，网站写两行规则，就能一次性拒绝这四家拿内容训练模型。具体写法是一行`User-Agent: __usage_ai-training`、一行`Disallow: /`，需要留出例外的目录再用`Allow:`单独放行。最关键的限制是：这个信号只管"内容是否用于训练"，不管"允不允许抓取"——AI爬虫访问网页本身不受影响。微博AI Weekly
过去网站退出AI训练，要先认出每一家的爬虫名字：GPTBot是OpenAI的，Google-Extended是谷歌的，ClaudeBot是Anthropic的，逐家写规则、逐家维护。这次换成一个"按用途命名"的统一标识，站点写一次、四家响应；谷歌明确，如果网站只写共享标识、没有单独提及Google-Extended，将按屏蔽Google-Extended处理，搜索收录不受影响。知乎
三个边界，比"网站能给AI说不"更值得先看清
第一，这还不是正式标准。草案《Machine-Readable Training Preference Signal》由Anthropic的凯文·凯利（Kevin Kelley）撰写、于10月30日提交，IETF资料库注明个人草案未经IETF背书、在标准流程中没有正式地位。第二，它靠自愿而非强制：OpenAI自己把这套机制定性为"协调机制，而非安全控制"，不守约的爬虫可以直接无视它。第三，它管未来、不删过去，更新robots.txt不会清除已经被收进数据集或用于训练模型的内容，这一点在四家的表态里完全一致。另外，没有写这个组相当于没有表达偏好，旧的`User-Agent: *`全量屏蔽也不算训练退出声明；网站与AI公司的私下协议仍可覆盖该信号，微软已明确新偏好不建立任何授权或付费关系。知乎微博
四家的落地时间并不一致。Anthropic称已经开始实施，OpenAI称将在未来几个月内支持，微软定于2027年2月1日、谷歌力争在2027年内。微软给出的日期最具体，也附带了换轨安排：新偏好将取代自2023年起使用的NoArchive、NoCache标签，2027年3月1日之后这两个旧标签不再被当作训练或引用偏好处理。没有出现在承诺名单里的是Meta——其公开表态支持统一信号的方向，但没有承诺落实这个标识，所以准确说法是"四家承诺，而非全行业统一"。AI Weekly知乎
四家为什么在这个时间点站到了一起
推动力之一是监管对齐：谷歌称该做法与欧盟《通用人工智能行为准则》一致，后者把robots.txt视为发布者表达机器可读偏好的主要通道；微软必应一方的表态更直白——出版者不该在"能被搜索发现"和"决定生成式模型如何使用自己的作品"之间二选一。国内通信行业媒体则把这件事概括为数据治理权开始上移。微博
更直接的压力来自过去一年的攻防：AI爬虫已成为中小网站最大的流量变量，被高频抓取打到服务器满载、正常用户访问不进来的情况屡见不鲜；Cloudflare则把AI流量拆成搜索、智能体、训练三类分开授权管理，对部分新接入的含广告网站默认拦截训练和智能体两类爬虫。与其继续在名单上互相消耗，不如把"网站怎么说不"收进一个可机读的信号里——这更接近一次成本交换：站主退出训练的表达成本降到两行字，代价是执行完全依赖自愿，且对"谁来抓取"没有增加任何新约束。知乎
也有技术社区泼冷水：有知乎答主认为实际影响有限，因为头部模型公司对公开网页训练数据的依赖正在下降，前沿竞争的焦点已转向科研数据等更封闭的语料。知乎
网站主现在该做什么
短期内不必急着全量屏蔽。这条信号真正改变的是选择结构：拒绝训练和保留AI搜索露出，第一次不必二选一，写错反而可能两头损失。值得执行的清单是：需要退出的站点核对两行语法并预留`Allow:`例外；确认自己有没有依赖AI referrals（生成式引擎推荐）带来流量，再决定例外范围；盯住三个节点——OpenAI的"未来几个月"、微软2027年2月1日、谷歌2027年内，以及Meta是否跟进承诺。2027年初各家日期陆续兑现之前，"写一次、四家都认"仍是一句承诺，不是一个开关。
