Artificial Analysis 上线了 Cognition 开发的编程基准 FrontierCode 1.1 的独立榜单，比较模型修改真实开源仓库的表现。这项评测关注补丁是否达到仓库维护者愿意合并的标准，除测试结果外，还检查过度修改、无关文件改动和无用测试。据 Artificial Analysis 独立评测，排名第一的模型平均得分为 52%，阻塞项通过率为 58%。
据 Artificial Analysis 介绍，FrontierCode 由 Cognition 与 36 个开源仓库的维护者共建，维护者在每道题上投入超过 40 小时。Cognition 于 2026 年 6 月公布该基准，7 月发布 1.1 版，加入公平使用互联网的规则。
本次评测采用 150 道题中的 Main 主集 100 题，每题尝试 3 次。所有模型使用同一套开源智能体运行框架 Stirrup，单次最多运行 250 轮；题目保持私有，以避免污染。
评分结合隐藏测试、命令检查、改动文件及代码量限制，以及依据维护者标准进行的 LLM 审查。任一阻塞检查失败，该次尝试即得 0 分；全部通过则得 70%–100%，具体分数还取决于非阻塞项。被 Cognition 轨迹扫描器标记为违反公平使用互联网规则的尝试同样计为 0 分。最终成绩先对每题的 3 次尝试取平均，再对各题等权平均。
据 Artificial Analysis 测评，Claude Opus 5.5（max with fallback）以 52% 的平均分居首，58% 的尝试通过全部阻塞检查，仍有超过四成尝试未通过。GPT-6.1 Sol（max）和 Claude Fable 5.1（max with fallback）均得 49%。平均分与通过率衡量的内容不同，前者还计入非阻塞项表现。
来自 6 家实验室的 9 个模型得分介于 43%–52%。开源权重模型中，MiMo-V2.6-Pro 以 45% 领先，DeepSeek V4.1 Flash（max）和 Kimi K3（max）均为 44%。100 道题中，有 9 道没有任何模型在任何一次尝试中通过；也没有一道题被所有模型每次都通过。
按 Artificial Analysis 公布的平均单题成本，GPT-6 Luna（max）为 0.09 美元，Claude Fable 5.1（max with fallback）为 12.00 美元，跨度超过 100 倍。
GPT-6.1 Sol（max）以每题 0.81 美元取得 49% 的成绩；Claude Opus 5.5（max with fallback）每题成本为 10.15 美元，得分为 52%。后者增加 3 个百分点，成本超过前者的 12 倍。
FrontierCode 1.1 目前不计入 Artificial Analysis 智能指数。该机构表示，计划很快将其加入 Coding Agents 榜单。
