首页 > 教程资讯 > 教程详情

Claude Code 团队分享验证做法:写一个 verify 技能,让 Claude 提交前先自己跑一遍

AI 与前沿 极客小林 2026-11-18
文章分享

Anthropic 旗下的 Claude 开发者博客发文,介绍 Claude Code 团队如何让编程 agent 用证据验证自己的工作。文章称,该团队约 90% 的代码由 Claude 编写并审查。在这个规模下,怎样让 agent 自己验证成果,成了关键问题。文中还给出了一套可以照着做的具体做法,包括 verify 技能、提交门禁和 REVIEW.md 规则文件。

验证闭环决定能并行多少个 Claude

文章称,没有验证闭环时,人只能同时运行一两个 Claude,因为每件事都要自己检查。有了验证闭环,可以并行运行几十到上百个。

文中还引用了 Anthropic 的内部测试:在结构化文件生成任务上,让单独的评分器按评分标准检查 Claude 的工作,任务成功率比普通提示循环最多提高 10 个百分点,最难的问题提升最大。

三类值得投入的测试

文章推荐三类测试,并提醒两点:测试不稳定,会让 agent 学会重跑测试而不是修代码;测试太慢,则会让 agent 少跑测试。

  • 端到端测试:作者说只能选一类时就选它,因为功能要么能用、要么不能用,很难被糊弄。
  • 属性测试:先写下一条认为不会被打破的约束,再用 fast-check、Hypothesis、proptest 等库生成成千上万个输入去证伪,覆盖人和 agent 都容易漏掉的边界情况。
  • 差分测试:让新旧系统处理同样的输入并比较结果,适合大规模迁移。

把验证方法写成 verify 技能

文章认为,运行应用比单纯跑测试更重要,就像不会不在模拟器里试就发布 iOS 改动。团队建议把启动模拟器、运行应用的方法写成名为 verify 的技能,放在仓库的 .claude/skills/ 目录下,并尽量靠近相关代码。文中称,Claude 知道在提交改动前使用 verify 技能。

不同类型的改动,测试方式也不同:

  • 网页改动:用 Claude 的 Chrome 扩展
  • 移动端:用 iOS 或 Android MCP
  • 桌面端:用 computer use
  • 后端:在本地运行服务

检查连续三轮仍失败时,Claude 会停下并交给人处理。

让检查不被改动本身绕过

团队维护一份 39 项的可靠性清单,每项带有可从 diff 读出的触发条件。Claude 只检查与 diff 匹配的条目,通常为 3 到 10 项。

Code Review 从基础分支或默认分支读取 REVIEW.md,从不读取 PR 自带的改动,因此改动无法修改评判自己的规则。

团队还给每个提交标注验证方式,连「none」也会记录,便于查出没验证过的提交。提交门禁会拦截会话中没有 /code-review 或 /verify 的提交,分 off、observe、enforce 三种模式。observe 模式只记录本会被拦截的提交,用来排查误报。在同一会话中,提交被拦截两次后,下一次会放行,避免 Claude 卡住。

对不稳定的测试,Claude 不能跳过、加延时,也不能重试到通过;找不到根因时,会删除该测试并写明原因。

把遗漏变成规则

文章介绍了两种把遗漏变成规则的做法:

  1. 从人工审查中提取:从人工审查评论和 PR 回退中提取至少出现在两个 PR 里的模式,由三个 agent 尝试证伪,再经人工在 PR 中批准。
  2. 重放已知事故:用三个 bug 查找器重放与已知事故相关的 PR,至少两个找到问题才算可检测;小 diff 上漏掉的问题,值得写进 REVIEW.md。

文章最后的结论是:把验证层当作一套系统来对待,让它不受被评判改动的影响,用真正重要的 bug 给它打分,并定期清理规则。这样,人的工作就从逐个阅读 diff,转为定义什么叫「完成」并审阅证据。

相关下载

来源