首页 > 教程资讯 > 教程详情

开源工具 agent-mcts 给编程 agent 加上蒙特卡洛树搜索,作者自测暂未跑赢单次尝试

AI 与前沿 编辑部小鹿 2026-11-22
文章分享

agent-mcts 是一个 MIT 许可的开源测试时搜索框架,用蒙特卡洛树搜索(MCTS)包装编程 agent 的命令行,让 agent 在多条解题分支之间探索、回退。项目当前为 v0.3,已在 Claude Code 上验证。值得关注的是,作者在 README 里直接给出了自测数据:在已测的任务上,它暂时还没有比单次尝试更好。

要解决的问题

据项目 README,Claude Code、Codex 等编程 agent 跑的是单条线性循环:动手、观察、原地重试,没有分支,也不回退。agent-mcts 让 agent 探索多条解题分支,从死路退回,并把预算集中到最有希望的路径上。

README 引用了 SWE-Search(ICLR 2025):该研究在软件 agent 上加入 MCTS 后,在 SWE-bench 上报告约 23% 的相对提升。README 同时称,这一成果只存在于研究框架里。

工作方式

  • 每个搜索节点是一个独立的 git worktree 加一个分叉出来的 agent 会话,用户的工作目录在用户执行 apply 之前不会被改动。
  • 运行前会显示计划并等待确认,例如 Agent: claude · Value: pytest -x -q · Budget: 12 nodes / $10.00,随后询问 Proceed? [y/N]。
  • 搜索过程在终端里以树状图实时显示。

关于 agent 支持,README 写明:Claude Code 已验证;Codex CLI 适配器随 v0.2 提供,但目前只用模拟的 codex 程序测过,没有对真实 CLI 测试。

作者自测结果

以下数据均为发布方自测。设置是 Claude Code 搭配 haiku 模型、5 轮预算,在两个较难任务(npm semver 范围、ISO 8601 时长)上,每种设置各跑 10 次,用 agent 看不到的隐藏测试打分,并与同一次运行的首次尝试比较。

  • 仅用测试评估:0 次更好、9 次相同、1 次更差,平均变化 −2.2 分,耗时约 5 分钟。
  • 加 --judge(由评判模型给每次尝试的改动打分):4 次更好、4 次相同、2 次更差,平均变化 −0.1 分,耗时约 23 分钟。

README 对原因的说明有两点。其一,仅用测试的搜索会在首次通过可见测试的尝试处停止,而这在 10 次里有 9 次就是首次尝试,所以结果接近单次运行。其二,评判模型的排序能力是瓶颈:在两份都通过可见测试的答案之间,它 62 次里有 38 次选出更好的一份。README 还写到,评判模式的成本约为 5 倍轮数、约 5 倍耗时。

逐次数据显示,评判模型有时能挽救测试漏掉的问题:首次尝试在隐藏测试上得 73% 和 85% 的两次,分别提升到 86% 和 90%。但也有一次,它把得分 91% 的首次尝试换成了自己评分更高、实际只得 68% 的答案。

更早的测量

README 提到,更早一次在三个较简单任务上的小规模测量看起来更好:加评判为 99%,单次尝试为 90%。但在那次测量中,评判组每次的首次尝试已经达到 98% 以上,因此没有检验上述情形。README 称,改进评判是下一步要做的工作。

来源