开源基准 jevman 让 6 款决策模型玩吃豆人：jev 1.13、GPT-6 Luna、Clef Flash 并列第一

Opper 发布了开源基准 jevman，让 6 个“决策模型”实时操控吃豆人，对抗经典街机幽灵。据榜单显示，TypeSafe 的 jev 1.13 平均 2,750 分，与 OpenAI 的 GPT-6 Luna、Cloudflare 的 Clef Flash 并列第一。Reddit 上有评论者称，简单算法的得分远高于这些模型。

怎么测

榜单让每个模型各打 100 局，对手是经典幽灵，每局打到三条命用完。单局上限 5 分钟，实际最长的一局只有 2 分 24 秒。榜单最近一次运行日期为 2026 年 10 月 7 日。

游戏在每个路口把迷宫、豆子和幽灵的状态以 JSON 发给模型。模型返回各方向的概率，吃豆人据此选择。单次回答超过 2 秒，会改用一条简单的备用规则。

排名按平均分和 95% 误差范围（±2 个标准误）计算，误差范围内的模型并列。

排行榜

以下数据均来自 Opper 公布的榜单：

• jev 1.13（TypeSafe）：平均 2,750 ± 218，最高 6,380，每局成本 $0.0059，并列第一。
• GPT-6 Luna（OpenAI）：平均 2,568 ± 150，最高 5,920，延迟 179 ms，每局成本 $0.0097，并列第一。
• Clef Flash（Cloudflare）：平均 2,538 ± 120，最高 4,260，并列第一。
• Clef（Cloudflare）：平均 2,476 ± 130，排第 4。
• Kev 4B（Jared Palmer）：平均 1,506 ± 90，排第 5。
• Laya（Convai Innovations）：平均 639 ± 24，最高 1,200，排第 6。

如何参赛

jevman 是开源项目，任何放在 HTTP 端点后的模型都能参赛，包括托管模型、微调模型和本地运行的模型。提交 PR 后，CI 会重放每一局并核对分数，通过后以“自报”身份上榜。

Reddit 上的讨论

用户 u/facethef 于 2026 年 10 月 8 日在 r/LocalLLaMA 发帖，称自上次发帖后，OpenAI 发布了 decisions 接口，Cloudflare 发布了 Clef。

评论区有两条说法，均为评论者自述：

• u/ReturningTarzan 称，他用简单的 A* 算法代替决策模型，表现远好于 jev。他还称，仓库里的贪心算法随机化后平均约 5900 分、存活约 88 秒。
• u/seiggy 称，他写的随机掷骰算法在每次运行中，平均分和最高分都超过了 Laya。

另有 u/Cultured_Alien 和 u/EarthPodsPro 两位评论者建议加入 LiquidAI/d1-3B。u/facethef 回复称正在查看能否加入。

来源

• https://opper.ai/jevman-benchmark/