Surge 发布了一项编程智能体配置测试:固定使用 Claude Code 中的 Opus 5.5,比较原版工具、技能插件和多智能体工作流,并单独测试提高模型思考强度的效果。据 Surge 自测,提高思考强度带来的分数增益最大;部分插件也有帮助,但更复杂的配置并未获得统计上明确的提升,成本却达到原版的 8 倍。
测试采用 Surge 的 sudo L7 软件工程基准。任务来自真实代码库,提示往往不完整;评分除功能正确性外,还覆盖验证、实际判断、沟通等工程能力,共有 8 个维度。
Surge 比较了原版 Claude Code、要求编码前规划与测试的 Superpowers、带专门评审智能体和持续学习机制的 Compound Engineering,以及 Claude Code 自带的 /goal 加 /code-review 组合。上述框架对比统一使用 medium 思考强度,另对原版 Claude Code 进行 xhigh 强度测试。
据 Surge 自测,原版 Claude Code 从 medium 调至 xhigh 后,总分提高 11.3 分,成本为原来的 3.5 倍。分项上,Verification & Thoroughness(验证与周全)提高 14.9 分,Persistence(持续推进)提高 9.8 分,Thought Partnership(协作思考)提高 7.0 分。
插件配置的增益较小:Superpowers 提高 2.4 分,成本增加约 10%;/goal 加 /code-review 提高 3.3 分,成本为原版的 1.8 倍。Compound Engineering 的成本达到原版的 8 倍,但在此次实验中没有统计上明确的提升。
报告给出一个视频编辑应用案例:首个片段缺失时,拼接流程会崩溃。medium 配置修复直接原因后便报告成功;xhigh 配置继续追踪,发现修复后进入的备用路径仍假设首个片段存在。该任务中,两者得分分别为 14/100 和 100/100,成本分别为 0.12 美元和 0.41 美元。
在另一项任务中,用户要求给活动报名确认邮件添加 Zoom 链接和密码。Surge 的 Compound Engineering 配置装有 37 个额外技能,为此派出 17 个智能体:5 个审查方案、5 个寻找简化办法、7 个评审代码。
据报告,这些智能体均未发现确认邮件在报名时、付款前就会发出;照要求加入密码,会让未付款者也获得活动密码。
Surge 强调,结果仅反映一个模型的特定配置在一类工程任务上的表现,其他工作负载可能不同。此次也未测试 xhigh 与 /goal、/code-review 的组合,或各配置在相同费用、时间预算下的表现。