Runway 详解如何构建智能体驱动的软件工厂
Building a Software Factory
Runway 介绍了逐步把软件交付各环节交给智能体完成的实践。智能体 10 月驱动了 38% 的合并 PR(6 月仅 0.1%),首次批准等待中位数从超过 2 小时降至约 5 分钟;AI 单独批准的 PR 回滚率约千分之一,低于人工批准的约 1/200。
Runway 逐站交代了让智能体接管软件交付各环节的做法与验收标准,读者可对照借鉴这套可迁移的工程方法。

工程
AI 让写代码变快了,但代码审查却成了工程师们的瓶颈。下面是我们如何一步步把交付流水线交给智能体,以及数据说明了什么。
2026 年 11 月 20 日
作者:Alejandro Alvarez,技术员工
目录
每个月,智能体编写的代码占比都在上升,拉取请求审查的队列也随之变长。审查机器人能发现问题,但每发现一个问题,改动就要退回再走一轮审查,最终拉取请求还是得等人来批准。
今年夏天,在我们核心 API 仓库中,花在智能体编写代码上的人工审查占比增长了两倍多,达到约五分之一,等待人工批准的拉取请求数量也翻了一番。
Anthropic 工程师 Felix Rieseberg 的“How to be more ambitious”启发了我们向前看。我们没有要求智能体写出更好的改动,而是测试它们能否接管软件交付的每个阶段,并且在看结果之前就先定好每个交接环节的评判标准。OpenAI 也描述过在一个从空仓库起步的产品上发生的类似转变。
10 月我们合并的拉取请求中,有 38% 由云端智能体驱动,而 6 月这一比例仅为 0.1%。9 月到 11 月中旬,首次批准的中位等待时间从两个多小时降到约五分钟,每周合并的拉取请求数量也翻了一倍多。由智能体批准的改动,被回滚的频率并不比人工批准的更高。
我们的起点
每一步都需要工程师
- 1编写
- 2通过 CI
- 3审查
- 4批准
- 5QA
- 6修复故障
- 7运营产线
从接到任务到上线,中间有七道工序。审查是指阅读改动并提出修改要求;批准则是放行合并的签字。智能体已经在帮忙做第一道工序;下面每一步都会把下一道工序交给它们。
年初的时候,工程师挑一个任务,提示智能体把它写出来并开一个拉取请求,然后等 CI 跑完,再把问题交回给智能体。接着他们得找一位同事来审查。改动一旦合并,主干可能会挂掉,谁先发现谁就得找出原因,要么向前修复,要么回滚。QA 也是手工做的。这些步骤之间的每一次交接都是人的工作,所以智能体写的改动越多,转给工程师的活就越多。
第 1 步 · 编写并通过 CI
让智能体把 CI 跑绿
- 1编写
- 2通过 CI
- 3审查
- 4批准
- 5QA
- 6修复问题
- 7跑通流水线
问题所在:让智能体来写改动,也许能省下我们一个小时的敲代码时间,但随之而来的是整整一个下午的收尾工作:修不稳定的测试、处理 lint 报错、解决合并冲突、回应评审意见。
我们做了什么:一个内部服务,在云端运行编码智能体,并一路跟进每个拉取请求,直到它全部通过。你给它一个任务、批准它的计划,之后智能体就会写出改动、发起拉取请求、重跑 CI、修复测试、回复评审意见并完成变基。
我们如何确认它有效:到第三个月,这个服务已经处理了我们 38% 的拉取请求,而且我们的智能体也几乎不需要人工介入。在 11 月上半月合并的 100 个智能体拉取请求样本中,有 78 个没有任何人工提交。
每月合并的智能体驱动拉取请求数
2026 年。虚线:11 月,为预测值
每月合并的智能体驱动拉取请求数:6 月 2 个,7 月 164 个,8 月 268 个,9 月 592 个,10 月 3,130 个,11 月截至目前 1,912 个,全月预计约 3,200 个。
瓶颈转移到了哪里
智能体产出可供评审的拉取请求的速度,超过了人们阅读它们的速度,于是评审成了下一个需要交接的环节。
第 2 步 · 评审
让智能体来评审
- ✓编写
- ✓通过 CI
- 3评审
- 4批准
- 5QA
- 6修复问题
- 7跑通流水线
问题所在:我们的第三方评审机器人缺乏上下文,工程师们于是学会了快速略过它,仍然自己阅读每一处改动。
我们做了什么:一个 AI 评审器,它拥有与编写代码的智能体相同的上下文,包括计划、diff 以及周围的代码。通常作者也是另一个智能体,因此改动会在编码智能体和 AI 评审器之间来回往返,直到干净为止。
我们如何确认它有效:在我们的核心 API 仓库中,11 月上半月 AI 评审器发起的评论线程有 93% 被解决或促成了代码改动,高于 9 月的 84%。9 月下旬的一次重建把每次评审的成本降到了约三分之一,同时每周评审量还在上升。
每周评审的拉取请求数
所有启用 AI 评审的仓库
每周评审的拉取请求数从 8 月 10 日当周的 234 个上升到 11 月 9 日当周的 3,177 个。
核心 API 仓库的每次评审成本
指数,9 月 7 日至 21 日平均值为 100
每次评审成本指数在 9 月 21 日之前保持在 60 到 110 之间,从 9 月 28 日起降至 25 到 37 之间。
瓶颈转移到了哪里
AI 评审后的拉取请求已经可以合并,却仍要等上几个小时才有人点下批准。
第 3 步 · 批准
让智能体来批准
- ✓编写
- ✓通过 CI
- ✓评审
- 4批准
- 5质量检查
- 6修复故障
- 7跑通流水线
问题所在:让 AI 评审器直接批准能清空队列,但这意味着代码会在没人读过的情况下合并。迈出这一步之前,我们需要证明 AI 的批准与工程师的判断一致。
我们做了什么:基于风险的批准机制。由一个独立的智能体给每个拉取请求评定低、中、高风险,拿不准时就往高里评,评级决定谁能批准它。起初,我们让 AI 自行批准低风险改动,以及在仓库允许的情况下批准中风险改动。高风险改动交给人工,数据库迁移、密钥和身份认证等代码库的关键区域仍须由代码所有者签字确认。
我们一开始让评审器与人工并行批准,并统计人工提出异议的频率。十月中旬,我们允许仅凭 AI 批准就合并拉取请求。九月到十月间,它批准的 977 个拉取请求中只有 15 个被人提出异议,约占 1.5%,这一日期前后的比例基本持平。
低风险
AI 批准仅凭它的批准即可合并。
中风险
AI 批准以仓库设定的上限为准,特定路径可以调低。
仓库上限:默认中风险
高风险
人工批准需经过一轮更深入的核验。
任意风险
始终由所有者批准数据库迁移、CI 与部署配置、密钥、身份认证。
我们如何确认它有效:首次批准的中位等待时间从九月的两个多小时降到十一月中旬的约五分钟;在我们核心 API 仓库中,AI 评审的合并约有七成仅凭它的批准就完成了。十月到十一月间所有仅凭 AI 批准合并的拉取请求中,只有千分之一被回滚,而人工批准的约为两百分之一。考虑到 AI 批准的大多是较不容易被回滚的低风险改动,我们按风险等级做了对比,发现 AI 批准的表现与人工相当。
仅凭 AI 批准完成的已评审合并
核心 API 仓库中仅凭 AI 批准完成的已评审合并占比,每两周统计:10月5日至18日,35%;10月19日至11月1日,70%;11月2日至15日,74%;11月16日至18日至今,78%。
5 分钟
批准的中位等待时间
原为 2.3 小时
78%
一小时内获批
原为 43%
11 小时
最慢的十分之一等待
原为 79 小时
0.10%
回滚率
仅 AI 批准,十月至十一月
瓶颈转移到了哪里
在我们的核心 API 仓库中,从待审核到合并的中位时间从约 11 小时降到不足 2 小时,但人们仍在手动测试产品。
第 4 步 · QA
让智能体跑 QA
- ✓编写
- ✓通过 CI
- ✓审核
- ✓批准
- 5QA
- 6修复故障
- 7运行产线
问题:我们发布了一款名为 App Studio 的新产品,光靠单元测试不足以建立信心。我们需要一个能像真人一样使用它的东西,注册并测试所有功能和改动。
我们构建了什么:一个像用户一样测试产品的 QA 循环。智能体并行驱动浏览器操作线上产品,标记出任何运行不符合预期的功能。在报告 bug 之前,智能体会先排除自身环境的问题,并定位导致问题的代码。确认的 bug 会变成智能体的修复任务,循环随后重跑该场景进行验证。
我们如何确认它有效:在最初四天里,QA 循环发现了 86 个已确认的 bug,智能体全部修复。自 11 月初起,每个合并的改动都必须先在自己的预览环境上通过验证运行。
86
发现的 bug
在循环运行的前四天
74
在这四天内修复
67 个经重跑验证
68 / 71
编写的修复 PR
完全由智能体完成
4.6 小时
修复中位时间
从首次发现到合并
瓶颈转移到了哪里
更多改动落地意味着更多破坏主分支的机会,而工程师仍需找出故障、定位根因并撤销它。
第 5 步 · 修复故障
让智能体盯住主分支
- ✓编写
- ✓通过 CI
- ✓审核
- ✓批准
- ✓QA
- 6修复故障
- 7运行产线
问题:在这样的体量下,我们没法等人来发现或报告问题。主代码库每坏一小时,就会有更多改动堆在故障之上。
我们构建了什么:当告警触发时,智能体会按一组步骤处理:重试检查、诊断故障、应用已知修复(如果有),若都不奏效则呼叫人工。一个协调器(下文会进一步说明)负责执行这些步骤,并在主分支恢复绿色之前暂缓自己的合并。每次发布后,发布系统会监控生产环境,一旦健康检查失败就自动回滚该次发布。
我们如何确认它有效:在最初两周里,它处理了约 140 条告警。除一条外,其余都在协调器无需呼叫任何人的情况下修复,从红灯到绿灯的中位时间为 23 分钟。自动回滚已在生产环境中触发过。
瓶颈转移到了哪里
现在每个工位都有智能体,但工程师仍需决定每个智能体做什么、按什么顺序做。
第 6 步 · 运行产线
让智能体运营整座工厂
- ✓编写
- ✓通过 CI
- ✓审核
- ✓批准
- ✓QA
- ✓修复故障
- 7运行产线
问题所在:工程师原本是产线的协调者,负责启动智能体、安排合并顺序,还要盯着那些卡住的运行。
我们构建了什么:一个负责运转软件工厂的协调器。它读取问题跟踪系统,把工作分派给智能体,并安排合并顺序。当我们的规则要求由人决定,或某一步卡住时,它会请人介入。
我们如何确认它有效:我们建立对协调器的信任,方式和当初建立对 AI 审批的信任一样。最初它以只读方式运行,只记录自己的决策。上线前,在短时间的测试运行中,由人逐一评判它提出的每个操作。协调器上线后的头两周,它分派了超过 14,000 个智能体任务,从诊断、规划到审查和修复,最终产生了约 1,900 个拉取请求。
- Read-only shadow mode before any writes
如果没有它:只读运行中发现的那个 bug 会进入线上,并重跑已经完成的工作。
- Gates re-checked at the exact commit being merged
如果没有它:一个拉取请求在检查未通过后被强行合并,而且审查者签字后智能体仍在继续推送提交。
- External actions safe to repeat
如果没有它:智能体会争抢同一个任务,互相取消对方的副本,有几次导致没有任何一个在运行。
- People step in by policy, not by accident
如果没有它:我们早先的合并工具曾三次因为一个提示词卡在某个人的键盘前而停滞,并阻塞了所有合并,其中一次超过一小时。
- Rollback in one call
如果没有它:发布列车因一个嘈杂的错误信号把所有生产池上的某个发布撤了下来,而撤销一次不想要的回滚需要不止一步。
瓶颈转移到了哪里
在规则允许的地方,产线已能自行运转,如今更多的等待发生在上游:决定要构建什么,以及回答智能体的问题。
产线现状
各站点当前进展
这条产线在 App Studio 背后的代码库中推进得最远。十月和十一月在那里合并的拉取请求几乎全部由智能体编写,十月约有七成由我们的智能体服务驱动。
到十月下旬,我们主要仓库每周合并的拉取请求数量约为九月的 2.5 倍。首次批准的中位等待时间从两个多小时降到约五分钟。
每周合并的拉取请求数
六个仓库每周合并的拉取请求数(三周移动平均),从九月初约 700 升至十一月中旬约 2,100。
首次批准的中位等待时间
核心 API 仓库首次批准的中位等待时间(三周移动中位数),从九月初的 3.7 小时降至十一月的 5 分钟。
| 站点 | 之前 | 现在 |
|---|---|---|
| 让改动通过检查 | 工程师手动完成 | 智能体负责 30% 到 40% 的合并 |
| 评审 | 每个拉取请求都由人评审,核心 API 仓库每周约 200 个 | 每个拉取请求都由 AI 评审,核心 API 仓库每周约 1,000 个,六个仓库合计每周 3,000 个。高风险请求仍由人批准 |
| 批准 | 拉取请求等待首次批准的中位时间为 2.3 小时 | 中位等待时间约五分钟;约七成经评审的合并仅凭 AI 批准即可通过 |
| 测试产品 | 人工手动点击操作 | 智能体像用户一样测试,从发现问题到修复合并的中位时间为 4.6 小时 |
| 合并之后 | 有人注意到告警或被呼叫 | 智能体在数秒内响应所有告警,必要时回滚生产环境 |
| 协调 | 工程师 | 协调器上线头两周,处理了 14,000 多个智能体任务,开启约 1,900 个拉取请求,下达 442 次合并指令 |
新的工作
工程师的角色
现在工程师阅读的代码差异只占一小部分。他们决定要做什么,回答智能体关于架构的问题,制定上线规则,并处理智能体卡住的地方。最后这项工作分为四部分:
- 找出智能体白费力气的地方:我们查找运行卡住的情况,以及代码库中智能体的改动反复需要返工的部分。
- 清除障碍:我们最大的收获很多来自访问权限和基础设施的修复。如果智能体连不上测试环境、拿不到凭据或无法预览部署,后面的一切都会卡住。
- 让路径对智能体友好:我们整理代码库,让智能体能找到路;针对已经见过的失败编写操作手册;建立更好的模式和核心系统,让智能体能安全使用。
- 让指标保持诚实:在看结果之前,我们先确定每个环节的评判标准。
为了找出智能体白费力气的地方,我们做了一个工具,根据 AI 智能体在每个拉取请求上的记录来衡量摩擦,包括实现改动花了多久、评审者发现多少问题、问题有多严重、智能体修复后问题是否复发,以及改动要多久才能干净通过。它把代码库的每个区域与同等规模拉取请求的典型情况作比较,并把结果画成地图,让智能体最吃力的区域一目了然。
按摩擦程度绘制代码库地图
每个区域、文件夹和文件都按智能体的改动在那里耗费的评审精力着色。热点区域会得到针对性修复。
示意图:代码库画成一棵树,从区域到文件夹再到文件,每个节点按评审摩擦着色。大多数分支颜色很浅。三个热点颜色深,并标有编号。
- Cleanup
智能体反复重新实现一个已经存在的辅助函数。复用它,删掉多余的副本,并在 CI 中加入复用检查。
- Documentation
评审反复指出同一个约定问题。把它写下来,放在智能体开始工作前能看到的地方。
- Guardrail
每次修复之后,同一个竞态条件都会再次出现。用测试把它固定住,让它无法再回来。
地图上的每个区域都附带一份智能体可以直接执行的简报:证据、可能的原因、范围有限的改动,以及一个能确保问题不再复发的测试。在我们的第一次清理中,某个内部服务里的 23 个拉取请求复用了现有的辅助函数、删除了死代码,并在 CI 中加入了复用检查,结果它们所触及文件中的重复代码行数下降了 16%。
下一步
软件交付的自动化会把瓶颈前移,转移到最初决定要构建什么上。我们的长期目标是打造一个系统:输入对结果的描述,它就能把结果交付出去,并在需要人类判断的既定节点上引入人工参与。
如果你想参与打造下一座工厂,我们正在招人。
来源:Runway:News · runwayml.com