跳到正文
Anthropic:Claude.dev 开发者博客· Vivek Nair·· 1 天前精选AI 评分79

Anthropic 工程师复盘用 chaos loop 强化 Claude Docs 上线:20 亿次请求仅 60 次服务器错误

Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests

AI 导读

Anthropic 工程师 Vivek Nair 复盘 Claude Docs 9 月 16 日上线前的 chaos loop 实践:让 Claude Code 会话在镜像生产的 staging 集群上以每天超 100 万合成 docs 持续压测并修复故障,峰值时同时运行 30 个 sub-agents。

推荐理由

作者复盘了上线前用 Claude 持续压测并自修复的两周流程,给出了可迁移的具体做法和小规模成本参考。

正文 · AI 翻译

Claude Docs 向公众开放前三周,它还只是一个概念验证,跑在单个节点上,只有 Anthropic 内部几千人在用。当时我们正赶一个野心不小的上线日期,而按我们自己的估算,上线头几天就会产生数百万份文档。

我们在 9 月 16 日上线。到 9 月 22 日,用户已经创建了超过 460 万份文档。在 20 亿次请求中,我们只看到 60 次服务器错误,而且全程没有回滚过。整个 Docs 服务跑在大约 50 个内存优化型 pod 上。

靠的是两个决定:

  • 在上线规模下跑混沌循环。我们在预发布环境搭了一套测试框架,让 Claude 连续跑了两周,专门想办法把服务搞垮。它对基础设施的每个部分都做了压力测试,哪里扛不住就修哪里。
  • 让 Claude 更容易看懂。只有当系统在每一轮迭代中都产出准确的遥测数据,Claude 才能有效地把修复闭环跑起来。我们很早就做了一个决定:避开那些会以代码难以控制的方式占用内存或 CPU 的运行时(比如带垃圾回收的运行时)。这样当某个遥测信号看起来不对劲时,Claude 就能轻松追到某个 bug 或某个具体的设计决策上。

但说实话,这事能成,主要还是因为我们的前沿模型最近进步很大(我用的是一个内部研究模型,大致相当于 Claude Fable 5.2)。在我们的经验里,它们现在能在一个像这样的任务里盯住同一个目标好几周,这正是我们能在紧张的时间表里撑到上线规模的原因。

混沌循环

一台机器上几千个内部用户,根本说明不了服务能不能扛住上线,而我们显然也没有上线流量可以用来测试。

我们需要真实证据来判断能多快放量。所以在 9 月 4 日,也就是上线前大约两周,我让 Claude 去驱动一个与生产环境镜像的预发布集群,每天造出超过一百万份合成文档,并故意打坏核心组件。然后……我就让它一直跑着(完整成本我放在文末了)。

我的设置很简单。这个循环就是 Claude Code 里一个我一直开着的会话:选一个场景,跑测试框架,读遥测,提出修复方案,部署到预发布环境,重复。这个会话充当协调者,把大部分工作交给子智能体。最忙的一周,通常同时有大约 11 个子智能体在跑,峰值到过 30 个。协调者还通过 Slack MCP 跟我们内部的 Claude Tag(beta)变体对话,向 Anthropic 内部其他扩展过类似服务的基础设施团队取经。他们的智能体帮我们检查扩展方案,看有没有他们踩过的坑。

有意思的是挑场景,我专挑那些我觉得偏执的:

  • 单日新建 1000 万份文档
  • 2.2 万个活跃连接同时重连
  • 一份热门文档有几百人同时在看,服务器在还在加载文档时被杀掉,数据库卡住

每一轮迭代都差不多。测试框架选一个功能,比如文档创建,把创建压到饱和。然后 Claude 通过 Datadog MCP 读遥测,回来给出一份简短的选项清单和一条建议。

如果建议容易回退,Claude 就写好改动、部署到预发布环境,再重跑测试。服务执行的每个操作都有遥测。比如每条数据库查询都会报告自己的名字、扫描了多少行、返回了多少行,这样 Claude 就能发现烂查询并重写它。

A loop of eight steps, with a legend marking the steps Claude does and the ones you do. Top row, left to right: the harness adds load, Claude reads the telemetry, Claude proposes options, and you pick one. Bottom row, right to left: Claude writes the change, Claude reviews it in a separate session, you approve, and Claude deploys to staging, which leads back to the harness. Inside the loop: opens instantly, and check that no confirmed edit was lost.
图 1循环的一次迭代,其中有两项决策由人做出

在循环开始之前,我告诉 Claude 哪些决策需要我批准;基本上都是难以撤销的事情,比如更改数据库 schema 或键布局,或者更改文档的存储和物化方式。

当 Claude 遇到其中一项时,它会停下来问我,通常还会附上一条建议,而我最终都批准了。Schema 变更就是典型的例子,我希望这类事情必须经过我:通常有几个合理的答案,而中途改变方向往往很痛苦。

在整个测试过程中,Claude 必须遵守两条不变量:

  1. 文档必须几乎瞬间打开(即使是历史很长的文档)
  2. 一旦服务器确认了某次编辑,测试就必须证明该编辑仍然存在

让服务对 Claude 清晰可读

我的同事 Felix Rieseberg 最近写了一篇关于对模型更有野心的教程。他的核心观点是提高你给 Claude 下提示词的“高度”:要求你想要的结果,而不是单个任务。

所以,与其让 Claude 去修复一个个崩溃,不如让它把你的应用做到不崩溃。(我们自己的应用还没完全做到,但我们正是这样取得实质进展的。)不过,要在那个高度上工作,你必须把代码设置好,让 Claude 能自己拉取崩溃报告,并运行一个能复现每个崩溃、检查修复效果的测试框架。

对我们来说,结果就是一个能扛住发布的服务。为了达到这个目标,我们做了两件事,让服务尽可能对 Claude 清晰可读:

  • 诊断循环。Claude 在每次迭代时读取遥测数据,并补充它认为缺失的内容。
  • 清晰可读的技术选型。我们挑选了运行时和依赖,使 Claude 测量的任何数字都能追溯到我们写的代码。

诊断循环

每次迭代,Claude 都会读取遥测数据,并补充它认为缺失的内容。手写遥测很枯燥,所以实际上大部分遥测都是在出问题之后才加进去的。现在 Claude 会边做边写。

内存是最好的例子。

在测试框架运行的早期,有一份大文档在其 pod 上占用了约 3 GB(这数字可不好看)。Claude 第一次尝试修复时,是缩小我们的一个缓存,让服务器更早地驱逐文档。下一次测试框架运行显示,内存实际上在一个单独的缓存里,位于我们的某个依赖项内部,于是 Claude 撤回了那个改动。

接着,Claude 用更细粒度的内存分析不断缩小范围。最终它发现,每次按键都会把文档复制到几个不同的数据结构中,每次增加几 MB。Claude 把这些结构改为写时复制,于是它们现在共享一个引用,而不是各自持有一份副本。

经过大约三天的迭代,那份文档的内存占用最高降到了约 180 MB,而我们对发布所需资源的估计从 500 多台内存优化型 pod 降到了约 50 台。

Claude adds telemetry as it goes. A loop of six steps: the harness stresses the service, the service reports telemetry, and Claude reads it and traces it to a cause. Then Claude adds what's missing, which is highlighted, Claude fixes it or drops a wrong guess, and Claude deploys and reruns, with hard-to-undo changes going to you first, which leads back to the harness.
图 2诊断循环

清晰可读的技术选型

我们对服务的运行时和依赖很挑剔。我们希望 Claude 测量的任何东西都能追溯到我们写的代码。

这是因为我们的模型在信号干净时爬山效果最好。我们预计垃圾回收器会带来噪声,因为内存和延迟会随回收器的调度而波动。

有两个选择帮助最大。

  1. 我们用 Rust 写了这个服务。没有垃圾回收器,一个文档的所有内存都放在我们自己定义的结构里,所以当内存增长时,Claude 能指出是哪一处造成的,改掉它,再看下一轮迭代内存有没有降下来。Anthropic 的 Go 工具链也很好,我们并没有对两种语言做对比评测,所以这只是我们在 Rust 上的经验。我过去写过 Go,这次让我欣赏的一点是:代码用完某块内存之后,我几乎不用去想它还会不会一直占着。
  2. 我们还把依赖压到了最少。每个库都会带来我们没写过、也不容易说清楚的数据结构。对少数确实需要的库,我们把代码 vendor 进来,这样就能自己读、自己测。

Rust 写起来对人很难,几年前这会严重影响选型。现在 Claude 写 Rust 和写大多数其他语言都没问题,这一点就没那么重要了。

We wanted every number to trace back to code we wrote, so we used Rust and kept dependencies to a minimum. Two lanes. What we chose: Rust and few dependencies, so memory sits in our own structures, then Claude finds the cause, then fixes are easy to check. What we avoided, a bet and not a test: garbage collection and libraries we didn't write, then memory we can't account for, then a noisier signal that is harder to trace to our code.
图 3可解释的技术选择:我们的代码能解释的内存,和解释不了的内存

发布周

服务扛住了发布规模的负载。头一百万份文档大约 30 小时内出现,到 9 月 22 日已经超过 460 万份。9 月我们一共上线了 629 次,一次都没有回滚。

发布周有种奇怪的熟悉感。Claude 很擅长设想一个服务会怎么失败,而且早在发布前就把大多数情况规划好了。我们在预发环境演练过的十个场景里,有七个真的在生产环境发生了。到那时,测试框架已经让预发环境把大部分情况都跑过一遍,Claude 也把修复放在运行时开关后面发布出去了。基础设施某部分吃紧时,我们通常只要拨一下开关。

为什么现在能做成

几个月前这大概还做不成。旧模型通过 MCP 服务器读遥测数据没问题,但在一个长循环里迭代十次二十次之后,它们就开始忘记我们在优化什么,我只好反复重申目标。Anthropic 的其他同事把这种现象叫作目标漂移。

我们更新的前沿模型是为长时间运行的任务打造的。Claude 在多次上下文压缩中始终守住了我们所有的约束条件,我一次都不用重复。

做这件事的也不只我们。Vercel 用一个和我们的做法很像的受监督智能体循环,把 Turborepo 提速了最多 96%。

花了多少钱

按 Claude Fable 5.2 的 API 标价(截至 2026 年 11 月),从 8 月底到发布日,我大约用掉了 12.5 万美元的推理费用。放在几年前,这个规模的工作我估计要一个工程师团队做上大约六个月。

这些钱大部分花在读遥测数据、写方案、生成修复和审查代码上。

关于成本有几点要说:

  • 我们的发布规模特别大。相当一部分钱花在了只有这个规模才说得通的基础设施上,而理解这些基础设施本身又需要更多推理。Claude 得花更多心思去想,一组不断增长的服务如何协同工作,以及它们可能以哪些方式失败。
  • 我也烧了很多 token 去摸索流程。我试验这套配置的时候,循环一直在不停地跑。以我现在的认识,我觉得本来可以只花大约一半的钱。

想试试的话

这套做法对规模小得多的服务同样适用,成本也应该低得多。

为了估算一个大概的数字,我按经典的小团队配置算了一笔账:两个规格适中的 Kubernetes 节点,外加一个 Postgres 实例。然后我梳理了从八月底到上线当天落地的所有改动,把这套配置用不上的部分剔除掉:

  • 与内部其他服务的对接
  • 和扩容工作混在一起做的客户端与产品相关改动
  • 跨多个 Pod 运行
  • 细粒度限流

最后剩下大约三分之一的改动。

把开销按这三分之一折算,再去掉我在摸索阶段犯的错误,按同样的报价水平,这样一次两周的冲刺我估计在 3000 到 10000 美元之间(我并没有实际跑过,所以只是个粗略的判断)。

下面的步骤假设有一名工程师,配备 Claude Code、一套预发布环境和一家可观测性服务商。协调者和子智能体确实加快了进度,但如果你发现它们每小时消耗的 token 太多,退回单个智能体应该也能跑得不错。想试的话:

  1. 让 Claude 能访问你的遥测数据。多数可观测性服务商都提供 Claude 可用的 MCP 服务器。
  2. 让 Claude 写一个压测脚本,向预发布环境的服务副本灌入十倍于真实流量的请求,并故意制造故障。杀掉一个实例、让数据库卡住、在流量高峰中途部署,都是不错的起点。然后让 Claude 不断修复被压垮的部分。
  3. 选技术栈时,尽量偏向 Claude 最容易测量的方案。对我们来说就是 Rust,以及尽可能少的依赖。
  4. 动手之前,先写下最重要的技术不变量,交给 Claude。
  5. 凡是难以回退的操作,让 Claude 停下来,给你几个选项并附上明确的推荐。

特别感谢文档团队,他们在同样的三周里提交了数千处编辑器修复;也感谢平台和存储团队,这套东西所依赖的一切都是他们搭建的。

延伸阅读。 我们如何在两周内让 claude.ai 快了三倍(claude.dev)· 为每个任务配一套框架:Claude Code 中的动态工作流(claude.dev),谈的是目标漂移。

来源:Anthropic:Claude.dev 开发者博客 · claude.dev