据 The Verge 报道，OpenAI、谷歌、微软和 Anthropic 表示，将采用一项新标准，让网站发布者可以在多家 AI 公司之间统一设置 AI 训练偏好，而不必逐家单独设置。报道称，这一共享标记会放在网站的 robots.txt 中；四家公司表示，遇到该标记时将限制其 AI 爬虫访问该网站。
The Verge 称，这个共享的「policy token」信号由 Anthropic 负责标准的技术负责人 Kevin Kelley 在互联网工程任务组（IETF）提出，会放在网站的 robots.txt 文件中。robots.txt 长期以来用于表明哪些网络爬虫可以抓取、哪些不可以，对象包括搜索索引、存档和 AI 训练。目前，网站必须分别向每家 AI 公司传达 AI 训练偏好。
OpenAI、谷歌、微软和 Anthropic 表示，一旦遇到这一共享标记，就会限制其 AI 爬虫访问该网站。The Verge 提到，Search Engine Roundtable 此前已报道过相关消息。
据 The Verge 报道，Anthropic 已经采用该信号。谷歌和微软计划于明年支持。OpenAI 表示将在「未来几个月」内实现，英文原文为「coming months」。
微软称，还将提供更细的控制，让发布者可以分别退出 AI 训练或 AI grounding。The Verge 对 AI grounding 的说明是：把 AI 模型指向经过验证的信息来源，以减少幻觉。微软指出，无论网站如何设置这些偏好，网站仍会出现在必应（Bing）搜索结果中。
The Verge 还写道，谷歌此前已经提供类似控制：网站可以决定内容是否出现在 AI 搜索功能中，或是否用于 AI 训练，而这些设置不影响搜索可见度。
Meta 传播负责人 Andy Stone 也对这一设置表示支持。The Verge 指出，他没有说明 Meta 是否会遵守该标记。Stone 说：「我们认为，建立一个能一次向多家提供商传达此类偏好的通用信号，是重要的一步。」他还表示，期待与其他 AI 公司就标准及其在行业中的实施开展合作。The Verge 在更新说明中写到，2026 年 10 月 30 日补充了来自 Meta 的评论。
The Verge 称，这则消息发布时，网站发布者仍在应对持续涌入的 AI 爬虫，这些爬虫抓取网站内容并送入 AI 模型。此前已有一些尝试：RSL（Really Simple Licensing）标准让发布者可以向访问其网站的爬虫收费；Cloudflare 则默认拦截 AI 爬虫。
这篇报道由 Emma Roth 撰写，发布时间为 2026 年 10 月 30 日 20:26 UTC。
