首页 > 教程资讯 > 教程详情

Runta 发布 FrontierHarness Eval v1.1:更换模型,框架成本排名也会变

AI 与前沿 老K说软件 2026-11-18
文章分享

Runta 与 Baseten 合作推出 FrontierHarness Eval v1.1,比较不同智能体框架搭配模型时的通过率与成本。据 Runta 公布的评测,测试消耗 830 亿 token,完成 27,280 次智能体运行;五个模型各自对应的最佳性价比框架均不相同,更换模型后,同一框架的成本排名也可能大幅变化。

从单模型扩展到五个模型

据发布方介绍,v1.0 只用 Kimi K3 比较了 9 种框架,v1.1 则覆盖 22 种框架配置、5 个模型、62 个终端任务,每项尝试 4 次,规模为上一版的 76 倍。这里的 22 种配置来自 18 个框架,不同工具配置和软件版本分别计数。

五个模型均由 Baseten 提供服务,分别是 GLM-5.3、GLM-5.3 Flash、DeepSeek V4.1 Flash 1017、Muse(meta-models/muse-spark-open)和 Kimi-K3。测试采用各框架的默认设置及最高推理强度。Runta 在日志审计中标记了 216 次作弊运行,其中 163 次涉及上网查答案,这些运行均计 0 分。

最佳搭配随模型变化

Runta 评出的最佳性价比组合为:GLM-5.3 搭配 Codex CLI,GLM-5.3 Flash 搭配 Pi,DeepSeek 搭配 ZCode,Muse 搭配 Oh My Pi,Kimi-K3 搭配 Alma。

这一评选以「每次通过成本」为基础:通常选择该成本最低的框架;若另一框架每次通过成本最多高 30%,但通过率至少高 5 个百分点,则选择后者。

按平均单任务成本排名,发布方发现,框架跨模型的名次变动中位数达到 11 位,总共只有 22 个名次。Codex CLI 搭配 GLM-5.3 时排第 1,搭配 Kimi-K3 时则排第 16。

固定模型后,最贵与最便宜框架的单任务成本相差 1.8 至 5.0 倍。差距最大的是 DeepSeek:Cline CLI 的成本为 OpenCode v1 的 5.0 倍,通过率却只高 2.0 个百分点。

执行步数与成本更相关

据 Runta 分析,在 22 种框架配置中,执行步数与每次通过成本的秩相关系数为 +0.51;提示词长度、工具数量和缓存命中率对应的系数仅为 −0.03 至 +0.02。发布方解释,每一步都会重新发送上下文,因此按框架统计,单次运行平均消耗 200 万至 480 万输入 token。

按标价估算,全部运行的推理成本中,缓存输入占 42%,输出占 33%,其他输入占 25%;已评分运行的成本有 64.5% 花在未通过的运行上。

这些结果仅覆盖开放模型和 Baseten 一家服务商,缓存机制与价格也均来自 Baseten。Runta 明确指出,换用其他服务商可能改变成本排名,并计划加入闭源模型。

来源