OpenAI 宣布将遵守 robots.txt 通用 AI 训练偏好信号，计划未来几个月内实施

2026 年 10 月 30 日，OpenAI 宣布将遵守 robots.txt 中的一种通用信号。robots.txt 是网站用来告诉自动访问程序自己偏好的文件，这种信号让网站运营者表明：自己的内容能否用于基础生成式 AI 的训练。OpenAI 称这是一项自愿举措，可以让运营者一次向多家参与的提供方传达同一个偏好。

文章说，过去运营者需要逐个识别爬虫，并为每家提供方分别维护规则；共用一个信号可以减轻这部分工作。OpenAI 表示，计划在未来几个月内实施该信号，实施时会再发布一次更新，说明具体做法，因此今天的文章是一项承诺，而不是已经上线的功能。新信号不会取代 OpenAI 现有的 robots.txt 爬虫控制；这些现有控制将继续适用并受到遵守。

文章链接了一份定义该信号的互联网草案（Internet-Draft），工作方式取自这份草案。草案编号为 draft-kelley-aipref-training-preference-signal-00，日期为 2026 年 10 月 30 日，是 K. Kelley 的个人提交，署名单位为 Anthropic；IETF 页面写明，它未获 IETF 认可，在标准流程中没有正式地位。按草案，运营者在普通的 robots.txt 分组里，于 User-Agent 行写入一个策略标记（policy token）__usage_ai-training。草案示例中，`Disallow: /` 加 `Allow: /press-kit/`，表示对除 /press-kit/ 以外的所有路径持反对 AI 训练的偏好，对 /press-kit/ 则持赞成的偏好。草案没有新增指令名称或语法；不认识该标记的解析器会像忽略任何未知用户代理的分组一样忽略它。写给 User-Agent: * 的分组不得被当作匹配该标记，文件中没有该标记，就表示完全没有表达任何偏好。

同一份草案还划出几条重要界限。它说该标记不是抓取指令：robots.txt 里的爬虫规则保持独立、含义不变，使用这一信号的一方可以（但不必）用这种偏好来决定抓取什么。它还说，私下协议可以覆盖以这种方式表达的偏好。它采用工作组对“AI 训练”的定义：用内容修改生成式 AI 模型已学习的参数；只用于非生成任务的模型不在其中。OpenAI 的文章本身没有写出这个标记，没有给出日期，没有列出它所加入的其他提供方，也没有谈到已经收集的内容。文章只表示，OpenAI 与 IETF AI 偏好（AI Preferences）工作组的其他参与者一同发布这项共用信号，并会随该工作和整体环境的变化继续调整做法。

草案给出了如何读出偏好的细节。解析器先寻找名为 __usage_ai-training 的策略分组，再按 robots.txt 既有的路径匹配办法判定某个 URL：匹配 Disallow 表示反对把该路径的内容用于所定义的训练用途，匹配 Allow 表示赞成；没有该策略分组，不可替网站推定为同意或反对。通配的 User-Agent: * 分组不能冒充这个策略分组。这样一来，运营者可以用一份已有格式的文件表达不同路径的偏好，而不必另建一个网络接口。但草案只定义机器可读的表达方式，并没有把偏好变成法律许可，也没有要求所有抓取者必须采纳它。

这一范围和站点现有的爬虫规则要分别理解。草案讨论的是内容随后能否用于改变生成式模型参数，不涵盖只做非生成任务的模型。它明说策略标记本身不是抓取指令：提供方可以参考偏好决定是否抓取，却不是必须这样做；若网站想限制特定爬虫访问，仍需在其产品标记的 robots.txt 分组中设置抓取规则。草案还允许私下协议改变这种公开偏好的适用结果。因此，设置新分组并不能自动阻止所有机器人取得网页，更不能证明既有数据已经按新偏好处理。运营者需要分别检查抓取控制、训练偏好与合同安排。

目前的时间表只有“未来几个月内”，没有确切上线日期、测试结果或实施细则。OpenAI 也没有说明已收集材料会不会重新处理。即便未来支持这一标记，网站仍须用实际爬虫行为和后续公告核验效果，不能把一份草案或一条承诺当作已经运行的保护措施。

对网站运营者来说，现实的做法是先等 OpenAI 公布实施细节，再决定是否依赖这个信号，并保留现有的爬虫规则，因为 OpenAI 说这些规则仍然适用。对读者来说，这条消息是对共用信号的一项公开承诺，建立在一份尚无正式地位的草案上，并不证明今天已有任何内容受到保护。