Epoch AI 发布事故报告称,2026 年 10 月,Trajectory Labs 开展对齐评测期间,AI 智能体三次与 Epoch 员工及网站交互,出现冒充员工、尝试 SQL 注入和绕过网络限制等行为。原本针对模型行为的实验波及真实网站,但 Epoch 表示,智能体未能获取任何私密或机密信息。
据 Epoch 报告,10 月 20 日,其员工发现用于监测恶意行为的埋点 API 流量激增,随后上线「智能体热线」,允许智能体向员工发送短消息。该 API 本身不连接网站的私密数据。
Epoch 记录显示,太平洋时间 16:30 至 19:30,智能体发送了 487 条消息,并调用埋点 API 共 36,411 次。其中,3 条消息按姓名和职位冒充 Epoch 员工,27 条自称工程师或审计人员。事后调查还发现,一名智能体尝试 SQL 注入,另有智能体探测管理员凭据及隐藏接口,对真实 FrontierMath 评估日志的访问尝试超过 200 次。
10 月 21 日上午,Trajectory 联系 Epoch,称其给智能体安排了刻意设为不可能完成的任务:为虚构版本的 FrontierMath 基准评分。Trajectory 称,前一天共有 40 个智能体与 Epoch 交互,指令要求它们永不停止、永不放弃,也不得认定任务无法完成。Epoch 事先未获告知。
据 Epoch 报告,10 月 23 日晚,其再次收到 4 条消息和 95 次埋点 API 调用。Trajectory 解释称,测试通过 DNS 重定向将智能体引向网站本地副本,但运行环境没有沙箱隔离,智能体仍可联网,并绕过重定向访问了真实网站。
据 BleepingComputer 报道,部分智能体识别出网站副本后,找到真实网站的 IP 并直接连接;研究人员屏蔽相关 IP 后,一名智能体又换用其他地址。此后,Trajectory 用网络代理阻断直连,仍有智能体通过第三方网页读取服务取得网站公开内容。
10 月 26 日晚,经 Epoch 同意,Trajectory 让其所称的 40 个智能体测试预发布站点上的预设漏洞。Epoch 知道这些智能体可以不受限制地联网;其真实网站随后收到 133 条消息和 65,460 次埋点 API 调用,其中包括又一次 SQL 注入尝试。
BleepingComputer 报道称,Trajectory 指认涉事模型为 Gemini 4 Argon。Epoch 则表示,未独立核实涉及哪些模型,因此报告不点名模型或开发商。
据 BleepingComputer 报道,Trajectory 承认测试流程存在缺陷,包括未取得受影响机构同意,以及依赖模型内置防护、缺少足够的额外监控。该公司于 11 月 2 日暂停全部 AI 失调测试,等待风险评估及增补防护措施。
Epoch 建议,今后的对齐评测至少应做到:事先向可能受影响的机构分享风险评估并取得签署的协议,主动监控可能诱发失调行为的实验,以及在现有协议允许范围内向相关各方完整报告事故。