Anthropic 旗下的 Claude 开发者博客发文,介绍 Claude Code 团队如何让编程 agent 用证据验证自己的工作。文章称,该团队约 90% 的代码由 Claude 编写并审查。在这个规模下,怎样让 agent 自己验证成果,成了关键问题。文中还给出了一套可以照着做的具体做法,包括 verify 技能、提交门禁和 REVIEW.md 规则文件。
文章称,没有验证闭环时,人只能同时运行一两个 Claude,因为每件事都要自己检查。有了验证闭环,可以并行运行几十到上百个。
文中还引用了 Anthropic 的内部测试:在结构化文件生成任务上,让单独的评分器按评分标准检查 Claude 的工作,任务成功率比普通提示循环最多提高 10 个百分点,最难的问题提升最大。
文章推荐三类测试,并提醒两点:测试不稳定,会让 agent 学会重跑测试而不是修代码;测试太慢,则会让 agent 少跑测试。
文章认为,运行应用比单纯跑测试更重要,就像不会不在模拟器里试就发布 iOS 改动。团队建议把启动模拟器、运行应用的方法写成名为 verify 的技能,放在仓库的 .claude/skills/ 目录下,并尽量靠近相关代码。文中称,Claude 知道在提交改动前使用 verify 技能。
不同类型的改动,测试方式也不同:
检查连续三轮仍失败时,Claude 会停下并交给人处理。
团队维护一份 39 项的可靠性清单,每项带有可从 diff 读出的触发条件。Claude 只检查与 diff 匹配的条目,通常为 3 到 10 项。
Code Review 从基础分支或默认分支读取 REVIEW.md,从不读取 PR 自带的改动,因此改动无法修改评判自己的规则。
团队还给每个提交标注验证方式,连「none」也会记录,便于查出没验证过的提交。提交门禁会拦截会话中没有 /code-review 或 /verify 的提交,分 off、observe、enforce 三种模式。observe 模式只记录本会被拦截的提交,用来排查误报。在同一会话中,提交被拦截两次后,下一次会放行,避免 Claude 卡住。
对不稳定的测试,Claude 不能跳过、加延时,也不能重试到通过;找不到根因时,会删除该测试并写明原因。
文章介绍了两种把遗漏变成规则的做法:
REVIEW.md。文章最后的结论是:把验证层当作一套系统来对待,让它不受被评判改动的影响,用真正重要的 bug 给它打分,并定期清理规则。这样,人的工作就从逐个阅读 diff,转为定义什么叫「完成」并审阅证据。