Claude Code 团队如何设计 Agent 验证与测试流程
How the Claude Code team thinks about verification
Anthropic Claude Code 团队分享其验证方法论,团队约 90% 的代码由 Claude 编写和审查,验证循环让并行运行数十上百个 Claude 成为可能。
Claude Code 团队披露内部约 90% 代码由 Claude 写成时的验证方法,E2E、属性、差分三类测试与验证门禁流程可直接迁移到自己的 Agent 工作流。
在 Claude Code 团队,我们绝大部分代码(约 90%)都是由 Claude 编写并由 Claude 审查的。在这样的规模下,如何让智能体用证据来验证自己的工作,就变得极其重要。
验证闭环是让你能把更多工作交给 Claude 的基础。没有它,你基本上只能同时跑一两个 Claude,因为所有东西都得自己检查。有了它,你可以并行跑几十甚至上百个。
这是因为给智能体一个验证其输出的途径,是提升质量的有效方法。在围绕结构化文件生成的内部测试中,让一个独立的评分器按评分标准检查 Claude 的工作,相比标准的提示词循环,任务成功率最多提升了 10 个百分点,而且在最难的问题上收益最大。
过去验证成本很高的东西(测试、基准、规格、真实的端到端运行),现在让智能体来做成本很低。和写代码一样,智能体能快速生成测试、基准和规格。而且一旦生成,这些测试和基准就以软件形式运行,可以频繁执行,不必额外消耗大量 token。
你还可以用结果来改进智能体在该任务上的表现,从而闭合验证回路。比如,如果智能体反复通不过某个检查日志中是否含用户数据的测试,你可以在 CLAUDE.md 里创建一个钩子或一条更明确的规则,避免以后再出问题。这样(基本)能防止问题再次发生。
那么,既然验证对高速产出高质量代码如此关键,该用哪些类型的测试,又该如何在整个流水线中应用它们?本文回答这些问题,并分享 Claude Code 团队的做法。
并非所有测试生来平等:值得投入的 3 类测试
无论选择哪种测试类型,都有几种失败模式要避免。
如果测试不稳定,你就会把智能体训练成重跑测试,而不是去修出错的代码。如果测试很慢,智能体在批次之间做的测试就会更少,这会让你难以定位问题。较重的测试最好在提交改动之前运行。
下面是我认为最值得投入的三类测试。
端到端测试
如果只能专注一类测试,那就选端到端。这类测试描述真实的用户流程,比如把商品加入购物车、结账、跳转到确认页。
端到端测试之所以有效,是因为它很难被糊弄——要么整个功能能用,要么不能用。它还有明确的完成标准,能具体告诉你哪里坏了。

单元测试虽然更快、更稳定,但有可能测试通过了,功能却依然是坏的。这是因为智能体和测试都没有理解完整任务。
用端到端测试时,让智能体在真实运行的系统上动手、动眼是有效的。你可以用一个技能,借助 CDP、模拟器或 API 测试框架等工具来启动、驱动和检查应用。
功能地图可以作为智能体的指南和评分标准,因为它通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
属性测试:不可打破的约束
很多测试都是基于你预想中可能出问题的地方来设计的。而属性测试关注的是人们容易忽略的边界情况,智能体往往正是在这些地方出错。
你先写一条你认为不可能失败的断言,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上万个输入,试图证明它不成立。
几乎每个软件项目里都有大量属性,比如:
- 往返编码:“把 X 编码后再解码,得到的还是 X。”解析和序列化同样适用。
- 不变量:必须始终成立的东西,比如“账户余额永远不会变成负数”。
- 幂等性:同一个操作(迁移、归一化、重试)执行两次和执行一次效果相同。
- 等价性:优化后的代码与朴素但正确的代码产生相同结果。
属性测试库用边界情况来检验智能体是否诚实可靠,而这些边界情况不会带着与生成原始代码的智能体相同的偏见。在重写场景中,它们尤其有用——此时规格说明已经偏离生产环境的行为,不再是可靠的验证依据。
差分测试:以旧系统为准绳
差分测试在功能预期保持不变的大规模迁移场景中尤其有效。做法是用相同的输入分别运行旧系统和新系统,看结果是否不同。如果不同,就说明存在需要修复的 bug 或破坏性变更。
差分测试的关键在于使用随机生成的输入或生产流量样本。你还需要归一化空白字符等无关因素,并维护一份已批准的变更清单,用于新环境本就应当与旧环境不同的情况。
Claude Code 团队如何看待验证
我们之前写过Anthropic 的代码审查是如何运作的,而本文想更深入地讲讲我们如何验证自己的工作。
验证意味着把改动跑起来
端到端运行应用比测试更重要。你不会没在模拟器里试过就发布 iOS 改动,Claude 也一样。
Claude 可以像人或者 QA 工程师那样测试整个应用。对于 Web 改动,让它使用 Claude Chrome 扩展;移动端用 iOS 或 Android MCP;桌面端用 computer use;后端工作则在本地运行服务。
要把如何启动模拟器或运行应用固化下来,可以创建一个名为 verify 的技能。把它放在仓库的 .claude/skills/ 文件夹里,尽量靠近相关代码,需要多少个就加多少个。Claude 知道在提交改动前使用 verify 技能。
然后投入精力让 verify 技能又快又可靠。让 Claude 反复迭代并做压力测试。这是你的冒烟测试工具,所以要确保它坚如磐石。
当你给 Claude 一种端到端冒烟测试其改动的方法时,效果会好得多。你会看到它像人一样反复迭代,更快地发现真正的错误。在 Anthropic,我们几乎所有的改动都是这样测试的。
失败的测试需要人来处理
没人能读完每一处改动,所以我们把失败作为判断哪些需要人介入的一种方式。Claude 会运行检查并尝试修复任何失败项。如果检查在三轮之后仍然失败,Claude 就会停下来,请人介入。
代码所有者编写自己的检查
写检查规则的人自己出钱维护这些规则,并不断打磨,直到它们能标出所有者会标出的问题。当某项检查引入评审者时,应当说明原因,这样评审者就不必自己从 diff 里推断。
可靠性检查由 diff 触发
我们维护一份包含 39 个条目的可靠性清单,每个条目都有一个可从 diff 读取的触发条件、一项检查,以及它背后的故障事件或 PR。其中一条是“--resume 会加载旧对话记录”。当会话存储或消息类型发生变化时,我们会追问新字段能否安全加载,因为旧对话记录里不会有这个字段。
Claude 读取 diff,只检查触发条件匹配的条目——通常 3 到 10 条——这样没人需要记住过去的故障。
一个评审者,多轮评审
我们不靠堆叠更多评审者来改进评审。在主评审者之上再加一个更昂贵的第二评审者,往往不如调优主评审者。我们的做法是维护一份 REVIEW.md,说明评审者针对这类代码应该关注什么。
我们还认为,评审与验证的轮次应当层层递进。每一轮都指向此前轮次的上下文和过去的失败,而不是从头重新检查所有内容。这样成本更低,发现的问题更多。
变更不能修改自己的检查
如果一项变更能修改评判它的检查,那这项检查就是失效的。代码评审从基线分支或默认分支读取 REVIEW.md 文件,绝不从拉取请求的变更中读取。Claude Code 团队确保把关变更的规则位于变更无法修改的分支上。
Claude Code 团队还把评审限定在提交上。如果有人在评审进行时推送新代码,评审结果就不再有用。对过期提交的通过评审毫无意义。
团队还先跑成本低的检查。如果智能体在本地测试之前就推送,它就占用了共享的评审和 CI 时间,而它本可以自己发现这个 bug。在我们团队,Claude 会在打开拉取请求之前运行测试、构建和 linter。你可以用一个 hook 在 Claude 完成时运行测试,或者用 /goal 设定测试套件通过的目标,来强制执行这一点。
新关卡先以观察模式启动
在我们自己的仓库里,我们会给每个提交打上验证方式的标记。标记甚至包含“none”,这样我们就能查询未经验证的提交。
我们还创建了一个提交关卡,如果会话中没有包含 /code-review 或 /verify,就可以阻止提交。我们为它设置了 off、observe 和 enforce 三种模式。
观察模式会记录本应被阻止的内容,这样我们可以审查任何误报,确保没有人受到影响。
强制模式会阻止提交。任何提交都可以在提交信息中说明为什么没有经过验证。如果会话中提交已被阻止两次,下一次就会放行,以免 Claude 卡住——Claude Code 并不完美。
用真正重要的东西检验你的检查
Claude Code 团队还会定期评审评审者。我们跟踪有多少已合并的变更被回滚、维护者在合并前拒绝了多少变更,以及一组规模匹配、保持干净的变更。
这也可以通过正式评估来实现。在代码审查文章中,我们介绍了 Code Review 团队如何基于以往的事故和回滚建立评估。他们会把每个示例的仓库还原到审查时的状态,并给出一句话的答案要点,说明 bug 是什么。只有正确描述该 bug 的发现才能得分。他们用已合并且稳定的改动作为对照组,防止过度标记。调优集与用于评估系统的固定测试集是分开的。
他们还分别评估了原始发现、验证后和最终审查的召回率。这样就能看出系统是否在丢失已经发现的 bug。任何把这些都当成一个端到端分数的评估,都无法捕捉到这种细微差别。
除了有效性,我们关心的另一个维度是做出这项改动有多重要。好的审查者能发现大多数技术上正确的问题,但人们真正关心的是某个 bug 属于必须修复、应该修复还是吹毛求疵。
Code Review 正是这么做的,它会将问题标记为重要、吹毛求疵或既有问题。“既有问题”标签意味着审查者不应让作者为本来就存在的 bug 负责。
最后,Claude Code 团队会把召回率调高到这样一个程度:再进一步优化就会过拟合评估,而不是真正发现 bug。
把漏报变成规则
在 Claude Code 仓库中,我们有两种把漏报案例转化为规则的方法。第一种是从人工代码审查评论和 PR 回滚中提取模式,找出常见问题。这些问题必须至少出现在两个 PR 中,并且能从 diff 中识别出来,才能被视为潜在规则。会有三个智能体尝试证伪它们,然后由人工在 PR 中审查并批准。
第二种方法是让三个 bug 查找器重放一个与已知事故相关的 PR。如果至少有两个找到了该 bug,就说明它是可检测的 bug。如果在小 diff 上漏掉了这个 bug,这就是一个值得写入 REVIEW.md 规则的缺口。
不稳定的测试也按同样方式处理。Claude 不能跳过它们、加 sleep 或重试直到通过。如果找不到根本原因,就删除该测试并写下原因。
规则也需要清理。测试套件、验证步骤和 .md 文件只会越积越多,所以我们定期整理。
好的测试带来好的结果
我们发现,给智能体一个能通过强反馈循环验证其工作的方法,会带来天壤之别。像对待任何其他系统一样对待你的验证层。让它远离它所评判的改动,用对你真正重要的 bug 来给它打分,并在它漏掉问题时写下教训,以免同样的问题再次发生,同时精简这些教训,让它们始终值得运行。
做到这一点,你的工作就会从阅读每一个 diff 转变为定义“完成”是什么样子并审查证据,这正是让你能同时运行多个 Claude 的原因。
来源:Anthropic:Claude.dev 开发者博客 · claude.dev