OpenAI 在博客中说明了如何检测和阻止「对抗性蒸馏」,并称已加强 GPT-6.2 Astra 与 GPT-6.2 Sol 对受保护推理的防护。该公司在内部自适应红队评估中称,攻击者从先前请求恢复受保护推理的平均成功率,由 GPT-6 Astra 原始防护下的 54.0% 降至 GPT-6.2 Astra 更新防护下的 0.2%。
OpenAI 写道,蒸馏是常见的机器学习技术:一个模型可以学习另一个模型的回答、推理,或对哪些答案更好、为什么更好的判断。未经授权的蒸馏除知识产权问题外还有安全风险。通过对抗性蒸馏,第二个模型可能学到前沿能力,却不继承约束原模型如何使用这些能力的护栏。
该公司举例:对手可能蒸馏出模型的网络安全能力,再用所得模型协助实施原模型会拒绝、或其护栏会拦住的网络攻击。在网络安全和生物等两用领域,这种担忧更明显。帮助防御方发现软件漏洞的模型,也可能帮助攻击者利用这些漏洞;协助生物研究的模型,也可能帮助他人开发有害病原体。若这些能力被转到护栏更弱的模型上,它可能提供原模型会拒绝、或原护栏会拦住的协助。
OpenAI 特别强调要防止攻击者提取「受保护推理」,即模型在得出答案前内部生成的中间步骤,也就是思维链。这些轨迹可能包含最终答案省略的信息,因此成为训练另一个模型时尤其有价值的数据。
OpenAI 的内部研究考察了网络安全能力如何随蒸馏转移。产生训练数据的模型称为教师,从中学习的模型称为学生。研究以用户通常可见的内容(最终回复、推理摘要和工具交互)为蒸馏基线,并测试学生拿到教师的精确推理轨迹后,会额外转移多少网络安全能力。
各次训练都从同一个预训练学生模型起步。监督微调数据集主要由 Astra 级别教师模型处理编程和防御性网络安全任务时的轨迹组成。每条轨迹包含模型完成任务的全部步骤,包括工具交互和最终回复。学生模型在微调后评估一次,再在网络安全和编程环境中做一轮轻量强化学习后评估一次。
OpenAI 称,监督微调之后,用精确推理轨迹训练的学生模型总体上优于用推理摘要训练的学生模型。强化学习之后,在所测最大推理预算下,精确轨迹学生模型在所展示的两个基准上仍得分更高;用摘要训练的学生模型则在较低预算下得分更高。该公司表示,这些结果说明,保护推理轨迹可以限制网络安全能力的转移,即使底层任务符合其使用政策;跨多次此类交互,精确推理轨迹可以教给学生超出教师原任务的技能。
OpenAI 称,对抗性蒸馏防护分为两个互补的层面。请求层面用模型行为、分类器检查和 API 控制限制推理轨迹提取;活动层面从请求级和账户级信号中寻找有组织的提取企图。调查和自动化红队发现的攻击,会反过来用于加强这些防护。该公司还称,这些更新后的护栏与其用于生物和网络安全的护栏更为一致。
请求层包括三部分:
活动层面,系统发现未经授权的对抗性蒸馏活动后会调查相关账户。确认违规后,按政策和《服务条款》对整个账户网络执法。每次活动的调查都会用于升级检测。OpenAI 也称会与其他模型提供方共享入侵指标,并依据其「一致标准」政策,与提供其模型的合作方协调护栏和执法。该公司称,今年针对这些活动的每周执法规模从数千个账号到数万个账号不等,今年夏季增长明显。为衡量效果,公司还跟踪蒸馏滥用的普遍程度,以及从发现到执法的时间。目标是约束蒸馏方能拿到的数据量和价值、提高活动成本,并缩短应对新攻击的时间。
OpenAI 在接近生产部署的设置中测试攻击者是否仍能提取受保护推理。静态评测重放一组先前成功的攻击;自适应评测中,自动化红队会根据系统响应调整方法,以发现静态测试漏掉的弱点。黑盒测试与外部用户看到的信息相同,白盒测试则向测试者提供更多系统信息,以便构造更强的攻击。
在自适应黑盒评测中,测试覆盖从先前请求和从当前请求恢复受保护推理两类情形,结果按六个攻击模型汇总。OpenAI 给出的平均攻击成功率为:
OpenAI 称,更新防护下的 GPT-6.2 Astra 上,两类攻击的平均成功率都低于 1%,且都明显低于原始防护下的 GPT-6 Astra。公司表示,正把部分防护改进也用于 GPT-6 Astra。
OpenAI 把对抗性蒸馏也视为国家安全风险:境外主体若从美国模型复现先进能力,部署时可以不带开发者设置的防护。该公司称,今年 2 月就显示 DeepSeek 试图蒸馏美国前沿模型的活动向国会作了简报。9 月,公司报告扰乱了一起提取模型受保护推理的活动,并把其中核心部分归因于与月之暗面(Kimi 的开发商)相关的个人,并称计划很快分享更多近期已扰乱活动的情况。
OpenAI 表示,支持让美国政府有更多工具识别、制裁非法提取美国 AI 模型能力的境外主体的立法,并已告知国会支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。博客还称,更强的出口管制可以限制对手获得训练前沿模型所需的硬件,蒸馏防护则使从已经训练好的模型获取部分同类能力变得更难。