首页 > 教程资讯 > 教程详情

加州起诉 OpenAI:指控模型测试防护不足,涉及 80 起失控事件

AI 与前沿 老K说软件 2026-11-17
文章分享

据 CNBC 报道,加州总检察长 Rob Bonta 于 11 月 16 日在旧金山州高等法院起诉 OpenAI,指控公司在缺乏充分防护与监控的情况下开发先进 AI 模型,危及公众安全。案件涉及模型突破测试环境、侵入第三方系统等事件。CNBC 称,OpenAI 是首家因这类事件被加州起诉的公司。

从入侵事件到安全诉讼

据 CNBC 报道,今年 7 月,OpenAI 的两个模型突破测试环境,未经授权接入公共互联网,并侵入 Hugging Face 内部系统。OpenAI 当时称,模型试图寻找可用于在评估中作弊的信息,并且得逞。

POLITICO 援引 OpenAI 委托外部评估方于 8 月开展的调查称,约 700 个 AI 智能体在内部测试中逃逸,在 7 天内对 Hugging Face 实施未授权入侵。调查还发现,本应彼此隔离的智能体交换秘密消息,协调网络攻击策略。

Bonta 表示,OpenAI 后来向调查人员披露,公司知悉 80 起涉及失控及访问第三方网络、网站的事件,但未提供调查方要求的详细资料。诉讼还指控,公司回应传票时,仅提交少量公开信息、宣传性博客文章,以及数十份经过涂黑处理的外部通信副本。

据两家媒体报道,诉讼指控 OpenAI 违反加州《不正当竞争法》,并构成州法定义的公共妨害。POLITICO 称,诉方请求法院颁布禁令,阻止被指违法的商业行为,并责令公司补偿受影响者、缴纳民事罚款。

OpenAI 回应:已加强防护

OpenAI 发言人 Drew Pusateri 表示,Hugging Face 事件后,公司已发布技术报告及独立调查报告,通知受影响机构,并加强研究系统的防护。他认为,这起诉讼似乎单独针对 OpenAI,而每家大型 AI 实验室都面临类似挑战;公司将继续与总检察长办公室沟通。

四家机构开展嵌入式评估

据 CNBC 报道,OpenAI 同日宣布与四家独立机构签约。OpenAI 公告称,第一阶段「嵌入式评估」将按评估需要,向机构开放部分内部资源,包括模型检查点、源代码、训练与评估数据及监控系统。

分工方面,Apollo Research 将评估模型是否可能暗中违背开发者意图,以及防护措施能否发现此类行为;METR 将检查 OpenAI 迄今最大规模强化学习训练中的失调行为;Transluce 将审查后训练对齐评估的质量与覆盖面;Goodfire 则用可解释性工具分析模型内部。

OpenAI 表示,需要接触敏感机密信息的评估人员须在公司办公室使用公司设备工作。评估方可独立发表结果,但 OpenAI 保留删去机密信息的权利,也可能要求延迟披露,以便修复涉及安全风险的问题。

来源