首页 > 教程资讯 > 教程详情

Sakana AI 发布 MASS:通过多 Agent 自监督实现模型递归自我改进

AI 与前沿 数码评测汪工 2026-10-12
文章分享

Sakana AI 提出名为 MASS(Multi-Agent Self-Supervision,多 Agent 自监督)的方法。该研究尝试让大语言模型从多 Agent 团队的协作经历中提取自监督信号,实现递归自我改进(Recursive Self-Improvement,RSI)。当 AI 进入人类专家也难以评估复杂结果的前沿科研领域时,缺乏有效监督信号成为关键挑战。MASS 让单一模型同时分饰多角并互相监督进化,为模型摆脱对更强外部监督的依赖提供了新思路。

同一模型分饰三角:内外双循环驱动自我进化

据发布方介绍,MASS 让同一个语言模型同时担任任务执行 Agent、工作流优化者(optimizer)与评审(evaluator)三个角色。整个系统通过内循环与外循环相互配合实现自我改进:

内循环在模型权重保持不变的情况下搜索更好的团队工作流。工作流由编排者与子 Agent 的角色、指令、契约和调用顺序组成,优化者根据评审者的反馈调整流程,并由模型自己评判优劣。

外循环则负责将团队协作经验固化至模型参数中。系统对自评最优的工作流使用多个随机种子执行,每个任务独立运行 18 次,最多保留 16 条轨迹(15 条用于训练、1 条用于验证)。在去除编排者初始提示中的工作流文本后,研究团队使用 LoRA 微调共享模型,使模型学会自主组织任务。更新后的模型随后继续承担全部三个角色,进入下一轮迭代。

发布方自测两轮迭代效果:科研基准提升与工程迁移局限

实验从 Qwen3.6-27B 基座模型出发,在 qwen-code 编码 Agent 环境中运行了 2 轮完整的 MASS。实验设计了 12 个合成科研任务,涵盖金融、机器人和制药三个领域,其中 9 个用于训练,3 个(每个领域各 1 个)留出作测试。为客观衡量进展,团队另请 GPT-5.5 和 Claude Opus 4.8 担任外部评审评估成果,其判断完全不参与 MASS 的训练过程。

发布方自测数据显示,在 3 个留出的合成测试任务上,模型对基座模型的胜率在第 1 轮为 53.9%,第 2 轮升至 69.9%;第 2 轮模型对第 1 轮模型的胜率达到 60.8%。在通用科研基准上,经历 2 轮迭代后,模型在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上的每输出 token 得分达到基座模型的 1.2–1.6 倍。

不过,跨任务能力迁移并不均衡。在 Terminal-Bench 2.0 和 SWE-bench Verified 上,该模型每输出 token 得分分别为基座模型的 0.96 倍和 0.94 倍。Sakana AI 称迁移表现不均衡,并猜测在训练数据中加入软件工程任务可以解决该问题。

多 Agent 轨迹密度更高,优化能力成自改进主要瓶颈

在多 Agent 与单 Agent 轨迹的对比实验中,发布方公布的数据显示,第 1 轮 MASS 模型(M+)在处理约 28.8 M 监督 token 后对基座胜率为 68.3%,而单 Agent 训练的 S++ 模型处理 42 M token 后胜率为 64.0%。Sakana AI 称前者少用了 31% 的监督 token,表明多 Agent 协作能提供更密集的学习信号。同时,Sakana AI 称模型自身评审与外部评审的一致率在 3 个周期中从 73% 升至 93%。

消融实验进一步探讨了系统各角色的影响。实验显示,若把评审和优化者都换成 GPT-5.5,12 个任务在 5 轮迭代内都找到了优于基座无工作流的方案;若仅替换评审者,表现改善较小。而全部由基座模型担任的同质循环最终也在 11 个任务上找到了获胜工作流,只是耗时更长。研究据此指出,在递归自我改进过程中,系统的效率瓶颈更可能是工作流优化者,而非评审者。

相关下载

来源