跳到正文
Runway:News·· 1 天前精选AI 评分77

Runway 详解如何构建智能体驱动的软件工厂

Building a Software Factory

AI 导读

Runway 介绍了逐步把软件交付各环节交给智能体完成的实践。智能体 10 月驱动了 38% 的合并 PR(6 月仅 0.1%),首次批准等待中位数从超过 2 小时降至约 5 分钟;AI 单独批准的 PR 回滚率约千分之一,低于人工批准的约 1/200。

推荐理由

Runway 逐站交代了让智能体接管软件交付各环节的做法与验收标准,读者可对照借鉴这套可迁移的工程方法。

正文 · AI 翻译

工程

AI 让写代码变快了,但代码审查却成了工程师们的瓶颈。下面是我们如何一步步把交付流水线交给智能体,以及数据说明了什么。

2026 年 11 月 20 日

作者:Alejandro Alvarez,技术员工

目录

每个月,智能体编写的代码占比都在上升,拉取请求审查的队列也随之变长。审查机器人能发现问题,但每发现一个问题,改动就要退回再走一轮审查,最终拉取请求还是得等人来批准。

今年夏天,在我们核心 API 仓库中,花在智能体编写代码上的人工审查占比增长了两倍多,达到约五分之一,等待人工批准的拉取请求数量也翻了一番。

Anthropic 工程师 Felix Rieseberg 的“How to be more ambitious”启发了我们向前看。我们没有要求智能体写出更好的改动,而是测试它们能否接管软件交付的每个阶段,并且在看结果之前就先定好每个交接环节的评判标准。OpenAI 也描述过在一个从空仓库起步的产品上发生的类似转变。

10 月我们合并的拉取请求中,有 38% 由云端智能体驱动,而 6 月这一比例仅为 0.1%。9 月到 11 月中旬,首次批准的中位等待时间从两个多小时降到约五分钟,每周合并的拉取请求数量也翻了一倍多。由智能体批准的改动,被回滚的频率并不比人工批准的更高。

我们的起点

每一步都需要工程师

  1. 1编写
  2. 2通过 CI
  3. 3审查
  4. 4批准
  5. 5QA
  6. 6修复故障
  7. 7运营产线

从接到任务到上线,中间有七道工序。审查是指阅读改动并提出修改要求;批准则是放行合并的签字。智能体已经在帮忙做第一道工序;下面每一步都会把下一道工序交给它们。

年初的时候,工程师挑一个任务,提示智能体把它写出来并开一个拉取请求,然后等 CI 跑完,再把问题交回给智能体。接着他们得找一位同事来审查。改动一旦合并,主干可能会挂掉,谁先发现谁就得找出原因,要么向前修复,要么回滚。QA 也是手工做的。这些步骤之间的每一次交接都是人的工作,所以智能体写的改动越多,转给工程师的活就越多。

智能体干活,人在旁边看着。 工程师陪着每一处改动走完每一站,并在 QA 环节手工测试。审查是最慢的一站:工程师得找一位同事,把对方从自己的工作中拉过来,而拉取请求还在门口越堆越多。

第 1 步 · 编写并通过 CI

让智能体把 CI 跑绿

  1. 1编写
  2. 2通过 CI
  3. 3审查
  4. 4批准
  5. 5QA
  6. 6修复问题
  7. 7跑通流水线

问题所在:让智能体来写改动,也许能省下我们一个小时的敲代码时间,但随之而来的是整整一个下午的收尾工作:修不稳定的测试、处理 lint 报错、解决合并冲突、回应评审意见。

我们做了什么:一个内部服务,在云端运行编码智能体,并一路跟进每个拉取请求,直到它全部通过。你给它一个任务、批准它的计划,之后智能体就会写出改动、发起拉取请求、重跑 CI、修复测试、回复评审意见并完成变基。

我们如何确认它有效:到第三个月,这个服务已经处理了我们 38% 的拉取请求,而且我们的智能体也几乎不需要人工介入。在 11 月上半月合并的 100 个智能体拉取请求样本中,有 78 个没有任何人工提交。

每月合并的智能体驱动拉取请求数

2026 年。虚线:11 月,为预测值

每月合并的智能体驱动拉取请求数:6 月 2 个,7 月 164 个,8 月 268 个,9 月 592 个,10 月 3,130 个,11 月截至目前 1,912 个,全月预计约 3,200 个。

从 6 月的两个拉取请求,到每月超过 3,000 个。覆盖七个代码仓库。11 月数据按当月至今的日均值推算。10 月智能体驱动的合并占全部合并的 38%,11 月至今为 30%。这只是一个下限:我们只统计能明确归因于智能体的拉取请求。
同一条路,不用人再走一遍。人只需把任务交给智能体一次,智能体就会自己把它推进到一个全部通过的拉取请求。交接计数在评审之前一直保持为零,到了评审环节,改动才等待人来处理。

瓶颈转移到了哪里

智能体产出可供评审的拉取请求的速度,超过了人们阅读它们的速度,于是评审成了下一个需要交接的环节。

第 2 步 · 评审

让智能体来评审

  1. ✓编写
  2. ✓通过 CI
  3. 3评审
  4. 4批准
  5. 5QA
  6. 6修复问题
  7. 7跑通流水线

问题所在:我们的第三方评审机器人缺乏上下文,工程师们于是学会了快速略过它,仍然自己阅读每一处改动。

我们做了什么:一个 AI 评审器,它拥有与编写代码的智能体相同的上下文,包括计划、diff 以及周围的代码。通常作者也是另一个智能体,因此改动会在编码智能体和 AI 评审器之间来回往返,直到干净为止。

我们如何确认它有效:在我们的核心 API 仓库中,11 月上半月 AI 评审器发起的评论线程有 93% 被解决或促成了代码改动,高于 9 月的 84%。9 月下旬的一次重建把每次评审的成本降到了约三分之一,同时每周评审量还在上升。

评审会回到代码环节。AI 评审器会把有问题的改动退回给编码智能体,直到它们通过为止。干净的改动仍会排队等待人工批准。

每周评审的拉取请求数

所有启用 AI 评审的仓库

每周评审的拉取请求数从 8 月 10 日当周的 234 个上升到 11 月 9 日当周的 3,177 个。

核心 API 仓库的每次评审成本

指数,9 月 7 日至 21 日平均值为 100

每次评审成本指数在 9 月 21 日之前保持在 60 到 110 之间,从 9 月 28 日起降至 25 到 37 之间。

是八月每周评审量的十倍以上,而每次成本只有约三分之一。按周统计,8月10日至11月9日。数量包含十月启用的两个代码仓库。9月28日那一周成本下降,是因为换上了重建后的评审器。

瓶颈转移到了哪里

AI 评审后的拉取请求已经可以合并,却仍要等上几个小时才有人点下批准。

第 3 步 · 批准

让智能体来批准

  1. ✓编写
  2. ✓通过 CI
  3. ✓评审
  4. 4批准
  5. 5质量检查
  6. 6修复故障
  7. 7跑通流水线

问题所在:让 AI 评审器直接批准能清空队列,但这意味着代码会在没人读过的情况下合并。迈出这一步之前,我们需要证明 AI 的批准与工程师的判断一致。

我们做了什么:基于风险的批准机制。由一个独立的智能体给每个拉取请求评定低、中、高风险,拿不准时就往高里评,评级决定谁能批准它。起初,我们让 AI 自行批准低风险改动,以及在仓库允许的情况下批准中风险改动。高风险改动交给人工,数据库迁移、密钥和身份认证等代码库的关键区域仍须由代码所有者签字确认。

我们一开始让评审器与人工并行批准,并统计人工提出异议的频率。十月中旬,我们允许仅凭 AI 批准就合并拉取请求。九月到十月间,它批准的 977 个拉取请求中只有 15 个被人提出异议,约占 1.5%,这一日期前后的比例基本持平。

低风险

AI 批准仅凭它的批准即可合并。

中风险

AI 批准以仓库设定的上限为准,特定路径可以调低。

仓库上限:默认中风险

高风险

人工批准需经过一轮更深入的核验。

任意风险

始终由所有者批准数据库迁移、CI 与部署配置、密钥、身份认证。

谁来批准拉取请求。虚线以下,AI 批准即可合并。
风险决定谁来批准。低风险凭 AI 批准即可通过,中风险在仓库允许后也加入这一行列,高风险则把分支交给人工。

我们如何确认它有效:首次批准的中位等待时间从九月的两个多小时降到十一月中旬的约五分钟;在我们核心 API 仓库中,AI 评审的合并约有七成仅凭它的批准就完成了。十月到十一月间所有仅凭 AI 批准合并的拉取请求中,只有千分之一被回滚,而人工批准的约为两百分之一。考虑到 AI 批准的大多是较不容易被回滚的低风险改动,我们按风险等级做了对比,发现 AI 批准的表现与人工相当。

仅凭 AI 批准完成的已评审合并

核心 API 仓库中仅凭 AI 批准完成的已评审合并占比,每两周统计:10月5日至18日,35%;10月19日至11月1日,70%;11月2日至15日,74%;11月16日至18日至今,78%。

5 分钟

批准的中位等待时间

原为 2.3 小时

78%

一小时内获批

原为 43%

11 小时

最慢的十分之一等待

原为 79 小时

0.10%

回滚率

仅 AI 批准,十月至十一月

前后对比:审批等待时间下降了。每周统计,10 月 5 日至 11 月 9 日。等待时间指从“待审核”到任意审核人首次批准,9 月与 11 月 9 日当周对比。

瓶颈转移到了哪里

在我们的核心 API 仓库中,从待审核到合并的中位时间从约 11 小时降到不足 2 小时,但人们仍在手动测试产品。

第 4 步 · QA

让智能体跑 QA

  1. ✓编写
  2. ✓通过 CI
  3. ✓审核
  4. ✓批准
  5. 5QA
  6. 6修复故障
  7. 7运行产线

问题:我们发布了一款名为 App Studio 的新产品,光靠单元测试不足以建立信心。我们需要一个能像真人一样使用它的东西,注册并测试所有功能和改动。

我们构建了什么:一个像用户一样测试产品的 QA 循环。智能体并行驱动浏览器操作线上产品,标记出任何运行不符合预期的功能。在报告 bug 之前,智能体会先排除自身环境的问题,并定位导致问题的代码。确认的 bug 会变成智能体的修复任务,循环随后重跑该场景进行验证。

我们如何确认它有效:在最初四天里,QA 循环发现了 86 个已确认的 bug,智能体全部修复。自 11 月初起,每个合并的改动都必须先在自己的预览环境上通过验证运行。

86

发现的 bug

在循环运行的前四天

74

在这四天内修复

67 个经重跑验证

68 / 71

编写的修复 PR

完全由智能体完成

4.6 小时

修复中位时间

从首次发现到合并

QA 循环的前四天。仅统计循环自身发现的 bug。修复时间计算到合并,而非上线。

瓶颈转移到了哪里

更多改动落地意味着更多破坏主分支的机会,而工程师仍需找出故障、定位根因并撤销它。

第 5 步 · 修复故障

让智能体盯住主分支

  1. ✓编写
  2. ✓通过 CI
  3. ✓审核
  4. ✓批准
  5. ✓QA
  6. 6修复故障
  7. 7运行产线

问题:在这样的体量下,我们没法等人来发现或报告问题。主代码库每坏一小时,就会有更多改动堆在故障之上。

我们构建了什么:当告警触发时,智能体会按一组步骤处理:重试检查、诊断故障、应用已知修复(如果有),若都不奏效则呼叫人工。一个协调器(下文会进一步说明)负责执行这些步骤,并在主分支恢复绿色之前暂缓自己的合并。每次发布后,发布系统会监控生产环境,一旦健康检查失败就自动回滚该次发布。

我们如何确认它有效:在最初两周里,它处理了约 140 条告警。除一条外,其余都在协调器无需呼叫任何人的情况下修复,从红灯到绿灯的中位时间为 23 分钟。自动回滚已在生产环境中触发过。

瓶颈转移到了哪里

现在每个工位都有智能体,但工程师仍需决定每个智能体做什么、按什么顺序做。

第 6 步 · 运行产线

让智能体运营整座工厂

  1. ✓编写
  2. ✓通过 CI
  3. ✓审核
  4. ✓批准
  5. ✓QA
  6. ✓修复故障
  7. 7运行产线

问题所在:工程师原本是产线的协调者,负责启动智能体、安排合并顺序,还要盯着那些卡住的运行。

我们构建了什么:一个负责运转软件工厂的协调器。它读取问题跟踪系统,把工作分派给智能体,并安排合并顺序。当我们的规则要求由人决定,或某一步卡住时,它会请人介入。

协调器负责运转产线。工作来自人们写的规格说明和告警,经过与以往相同的步骤,最终产出已发布的变更。当策略规定需要由人决定时,变更会转出到人那里,然后再回来。

我们如何确认它有效:我们建立对协调器的信任,方式和当初建立对 AI 审批的信任一样。最初它以只读方式运行,只记录自己的决策。上线前,在短时间的测试运行中,由人逐一评判它提出的每个操作。协调器上线后的头两周,它分派了超过 14,000 个智能体任务,从诊断、规划到审查和修复,最终产生了约 1,900 个拉取请求。

  • Read-only shadow mode before any writes

    如果没有它:只读运行中发现的那个 bug 会进入线上,并重跑已经完成的工作。

  • Gates re-checked at the exact commit being merged

    如果没有它:一个拉取请求在检查未通过后被强行合并,而且审查者签字后智能体仍在继续推送提交。

  • External actions safe to repeat

    如果没有它:智能体会争抢同一个任务,互相取消对方的副本,有几次导致没有任何一个在运行。

  • People step in by policy, not by accident

    如果没有它:我们早先的合并工具曾三次因为一个提示词卡在某个人的键盘前而停滞,并阻塞了所有合并,其中一次超过一小时。

  • Rollback in one call

    如果没有它:发布列车因一个嘈杂的错误信号把所有生产池上的某个发布撤了下来,而撤销一次不想要的回滚需要不止一步。

安全护栏。每一条都对应我们在早先工具或协调器自身测试中遇到的一次故障。

瓶颈转移到了哪里

在规则允许的地方,产线已能自行运转,如今更多的等待发生在上游:决定要构建什么,以及回答智能体的问题。

产线现状

各站点当前进展

这条产线在 App Studio 背后的代码库中推进得最远。十月和十一月在那里合并的拉取请求几乎全部由智能体编写,十月约有七成由我们的智能体服务驱动。

到十月下旬,我们主要仓库每周合并的拉取请求数量约为九月的 2.5 倍。首次批准的中位等待时间从两个多小时降到约五分钟。

每周合并的拉取请求数

六个仓库每周合并的拉取请求数(三周移动平均),从九月初约 700 升至十一月中旬约 2,100。

首次批准的中位等待时间

核心 API 仓库首次批准的中位等待时间(三周移动中位数),从九月初的 3.7 小时降至十一月的 5 分钟。

合并量翻了一倍多,等待时间却降到几分钟。三周移动平均,8 月 31 日至 11 月 9 日:统计两个时期都存在的六个仓库的合并量,以及核心 API 仓库的等待时间。九月每周平均合并 929 次,十月中旬以来为 2,235 次,高出 2.4 倍。等待时间统计任何批准者,包括九月下旬试运行期间 AI 审查者的批准,当时这些批准还不计入合并。
站点之前现在
让改动通过检查工程师手动完成智能体负责 30% 到 40% 的合并
评审每个拉取请求都由人评审,核心 API 仓库每周约 200 个每个拉取请求都由 AI 评审,核心 API 仓库每周约 1,000 个,六个仓库合计每周 3,000 个。高风险请求仍由人批准
批准拉取请求等待首次批准的中位时间为 2.3 小时中位等待时间约五分钟;约七成经评审的合并仅凭 AI 批准即可通过
测试产品人工手动点击操作智能体像用户一样测试,从发现问题到修复合并的中位时间为 4.6 小时
合并之后有人注意到告警或被呼叫智能体在数秒内响应所有告警,必要时回滚生产环境
协调工程师协调器上线头两周,处理了 14,000 多个智能体任务,开启约 1,900 个拉取请求,下达 442 次合并指令
各环节改造前后对比。

新的工作

工程师的角色

现在工程师阅读的代码差异只占一小部分。他们决定要做什么,回答智能体关于架构的问题,制定上线规则,并处理智能体卡住的地方。最后这项工作分为四部分:

  • 找出智能体白费力气的地方:我们查找运行卡住的情况,以及代码库中智能体的改动反复需要返工的部分。
  • 清除障碍:我们最大的收获很多来自访问权限和基础设施的修复。如果智能体连不上测试环境、拿不到凭据或无法预览部署,后面的一切都会卡住。
  • 让路径对智能体友好:我们整理代码库,让智能体能找到路;针对已经见过的失败编写操作手册;建立更好的模式和核心系统,让智能体能安全使用。
  • 让指标保持诚实:在看结果之前,我们先确定每个环节的评判标准。
在“工厂”上工作。智能体把每个改动从一个环节送到下一个环节。工程师则在环节之间的道路上干活:铺平坑洼路段,清除障碍,并加上检查来拦住漏过去的问题。随着他们这样做,已交付数量会不断攀升。

为了找出智能体白费力气的地方,我们做了一个工具,根据 AI 智能体在每个拉取请求上的记录来衡量摩擦,包括实现改动花了多久、评审者发现多少问题、问题有多严重、智能体修复后问题是否复发,以及改动要多久才能干净通过。它把代码库的每个区域与同等规模拉取请求的典型情况作比较,并把结果画成地图,让智能体最吃力的区域一目了然。

按摩擦程度绘制代码库地图

每个区域、文件夹和文件都按智能体的改动在那里耗费的评审精力着色。热点区域会得到针对性修复。

示意图:代码库画成一棵树,从区域到文件夹再到文件,每个节点按评审摩擦着色。大多数分支颜色很浅。三个热点颜色深,并标有编号。

  1. Cleanup

    智能体反复重新实现一个已经存在的辅助函数。复用它,删掉多余的副本,并在 CI 中加入复用检查。

  2. Documentation

    评审反复指出同一个约定问题。把它写下来,放在智能体开始工作前能看到的地方。

  3. Guardrail

    每次修复之后,同一个竞态条件都会再次出现。用测试把它固定住,让它无法再回来。

示意图。 这张图是自动绘制的,每个区域都会与同等规模的典型拉取请求进行对比。它为我们指出,在哪里做清理、补文档或加护栏能带来最大收益,并且每次修复都会被跟踪,以确认摩擦是否持续下降。

地图上的每个区域都附带一份智能体可以直接执行的简报:证据、可能的原因、范围有限的改动,以及一个能确保问题不再复发的测试。在我们的第一次清理中,某个内部服务里的 23 个拉取请求复用了现有的辅助函数、删除了死代码,并在 CI 中加入了复用检查,结果它们所触及文件中的重复代码行数下降了 16%。

下一步

软件交付的自动化会把瓶颈前移,转移到最初决定要构建什么上。我们的长期目标是打造一个系统:输入对结果的描述,它就能把结果交付出去,并在需要人类判断的既定节点上引入人工参与。

如果你想参与打造下一座工厂,我们正在招人。

来源:Runway:News · runwayml.com