首页 > 教程资讯 > 教程详情

Anthropic 披露 AI 加速研发风险:未来模型或很快触及内部政策门槛

AI 与前沿 数码评测汪工 2026-11-09
文章分享

据 TechCrunch 报道,Anthropic 在 11 月 2 日提交的修订版 S-1/A 文件中,为风险因素部分加入了有关 AI 加速研发的新表述。公司称,依据内部估计及对未来模型的预期,其可能很快达到负责任扩展政策所定义的「由 AI 带来的大幅加速进展」门槛。文件关注的风险是:模型能力的提升,可能快于公司开发、验证和实施相应安全措施的速度。

研发加速可能先于风险识别

TechCrunch 引述的文件显示,Anthropic 正越来越多地使用 AI 系统加速自身研发。公司警告,这可能使模型能力的进步超出其落实安全、对齐与安保措施的能力。文件还承认,公司过去曾未能在研发速度显著加快时识别这一变化,未来也可能直到加速已经发生后才发现。

这一披露涉及递归自我改进(RSI)。TechCrunch 将其解释为:AI 变得足够擅长训练自身,从而推动 AI 能力大幅加速提升。Anthropic 在文件中表示,利用 AI 构建更强大的 AI 可能带来相当大的安全风险,尤其是在这一过程显著加快进展时;其负责任扩展政策涵盖了接近递归自我改进过程中监测和缓解风险的安排。

判断针对未来模型,现有模型尚未被认定越线

对于「可能很快达到门槛」的说法,文件明确限定了依据:公司的内部估计,以及对未来模型的预期,而非当前模型。Anthropic 同时表示,尚未认定任何现有模型超过这一门槛,并仍在评估相关数据。

文件披露的是对未来能力与研发速度的预期,并未宣布现有模型已经跨过该政策门槛。

考虑更新政策,保留人类监督

Anthropic 还表示,即便技术上能够实现,公司也预计无法在缺乏实质性人类监督或理解的情况下,安全地让 Claude 完全自主地设计和构建后续几代前沿模型。为此,公司正考虑更新负责任扩展政策,让人类继续掌控其前沿模型开发。

TechCrunch 也提到一种怀疑观点:S-1 既承担信息披露功能,也具有营销性质,宣称接近能够自我构建的模型,可能属于后者。相关能力判断在文件中的表述仍是公司预期,政策更新也仍处于考虑阶段。

来源