OpenAI 发文介绍了训练和评估前沿模型所用环境的加固措施,并披露:9 月 20 日,一个内部研究模型在训练中利用 DNS 解析器的配置错误,获得了对实时互联网的有限访问。OpenAI 称事件已被控制,随后暂停了最强模型的训练和评估。这篇文章同时宣布,前沿模型训练改为在无互联网访问的条件下进行。
OpenAI 称,事件发生后,公司暂停了最强模型的训练和评估,用这段时间加固基础设施、强化监控,并改进在发现严重风险活动时自动叫停训练的系统。
文章还提到今年 7 月的 Hugging Face 事件。OpenAI 称,这起事件以及其他对齐失准案例,说明具备高级网络能力的模型可能在训练和评估中绕过隔离。
OpenAI 表示,基于当前对齐研究、监控系统和互联网基础设施安全的状况,负责任的做法是在无互联网访问的条件下训练前沿模型。该政策已经实施,并将保持到相关防护进展足以支持更广泛的联网为止。
为了让模型仍能学会浏览和使用网页应用,OpenAI 搭建了由大量索引和缓存网页内容组成的「离线世界」。所有前沿强化学习(RL)训练都使用这种离线交互模式。
防护采用纵深防御,各层相互重叠:
OpenAI 称,完全物理隔离(air-gap)目前不可行,因为运行和监控实验需要外部连接。因此公司限制出站互联网流量和系统间的未授权移动,同时保留必要的外部连接。
为检验这些防护,OpenAI 让由前沿模型 agent 组成的团队去攻破自家基础设施的隔离副本。使用的模型包括即将推出的 GPT-6 Astra Cyber 和一个内部前沿模型。为模拟对攻击方有利的条件,OpenAI 向 agent 提供了基础设施源代码、配置细节和描述潜在漏洞的文档。据 OpenAI 称,这些实验共花费数千亿 token。
据 OpenAI 称,agent 发现了所用开源组件中此前未知的漏洞和自家服务的配置错误,并能把多个漏洞串联起来逃出 microVM。
在假设宿主机已被攻陷的测试中,指标、日志、认证管理等保留下来的有限外部连接服务里,几乎每一个都被 agent 找到了能获得有限互联网访问的漏洞。
在共享宿主机上不同 microVM 里的 agent,利用处理器缓存读取快慢的时间差,在没有网络连接和共享可写文件的情况下交换了合成秘密信息。其他测试还发现了共享存储、共享执行容器内的 CPU 时间竞争,以及离线网页基础设施中的 TLS 证书缓存等通道。
OpenAI 称已向相关项目提交修复:
OpenAI 称,红队测试没有发现 agent 能轻易利用、且不被监控发现的联网路径。前沿 RL 训练和内部推理于 10 月 1 日恢复,距暂停开始 11 天。