跳到正文
meng shao· @shao__meng · X·· 3 小时前AI 评分70
AI 导读

Google 与 Kaggle 的 5 天 AI Agents 课程发布第一份白皮书 The New SDLC With Vibe Coding,区分 vibe coding 与 agentic engineering,关键分界是 Tests + Evals 双验证。

正文

Google 官方「5天 AI Agents 课程」

5份白皮书 (1/5):The New SDLC With Vibe Coding
https://www.kaggle.com/whitepaper-the-new-SDLC-with-vibe-coding

5天 AI Agents 课程的第一份白皮书,带我们思考:当“写代码”被 AI 自动化之后,软件开发的组织方式要怎么变?白皮书给出了一套可以长期使用的思维模型,其中两个关键概念先记住:Tests & Evals

核心论点:范式已变,但要区分两种用法
软件工程正经历自高级语言以来最大的转变,开发者与机器的接口从语法变成意图。2026 年 85% 的职业开发者日常使用 AI Coding Agents,41% 的新代码由 AI 生成。

"Vibe coding" 源自 Karpathy 2025 年 2 月的帖子,因被滥用而失去意义。到 2026 年,Karpathy 本人修正了表述,引入 Agentic Engineering。

区分二者的关键区别是「Tests + Evals 双验证」,测试管确定性部分(输入产出),评估(evals)管非确定性部分。"没有这两样,无论 prompt 多精巧,你做的都是 vibe coding。"

四个关键思维模型

1. Context Engineering(上下文工程)“真正的技能”。 论文断言:AI 生成代码的质量取决于上下文质量,而非 prompt 巧妙程度。六类上下文(指令、知识、记忆、示例、工具定义、护栏)要区分静态(常驻加载,如 AGENTS.md,每个 token 每次交互都要付费)与动态(按需加载,如 Skills、RAG 检索)。核心洞察是一个类比:“模型需要的不是被话术忽悠,而是和一个新团队成员做好工作所需要的同等信息。”静态/动态的边界应作为一等架构决策来评审和版本化。

2. 工厂模型(The Factory Model)。 开发者的主要产出不再是代码,而是生产代码的系统:规格与上下文(定义要造什么)、agents(把规格翻译成实现)、测试与质量门禁、失败回传的反馈回路、约束行为的护栏。“工厂经理不亲手组装每个零件,他设计流水线并把控质检。”

3. Harness 工程 核心公式:Agent = Model + Harness。裸模型不是 agent;行为表现由包裹模型的脚手架主导,指令与规则文件、工具、沙箱、编排逻辑、hooks 护栏、可观测性。这些是团队的地盘,不是模型厂商的。 论文给出可量化的证据:Terminal Bench 2.0 上有团队不换模型、只改 harness,就从 30 名外冲进前 5;LangChain 仅调 prompt/工具/中间件就提升 13.7 分。由此得出一条实用诊断法则:“agent 出错时,直觉怪模型;但诚实地查,大多数失败是配置失败,缺工具、规则含糊、没护栏、上下文塞满噪音。” 这也重新定义了光谱的本质:vibe coding 和 agentic engineering 可以用同一个 agent,差别只在于你多刻意地配置 harness。

4. Conductor 与 Orchestrator 开发者的两种工作模式。 Conductor 在 IDE 里实时盯代码生成、逐段纠偏,适合复杂逻辑和陌生代码库,但人本身会成为吞吐量瓶颈;编排者(orchestrator)异步给多个 agent 派目标、验收结果,需要四种新技能:精确规格化、任务分解、快速评估、约束系统设计。配套的是编码 agent 的三栖格局:编辑器内(Copilot/Cursor)、终端里(Claude Code/Antigravity CLI)、后台云端(Jules/后台 agent),同一个开发者一天三类混用。

需要面对的两个问题

80% 问题:AI 能快速生成一个功能 80% 的代码,剩下 20%(边界情况、错误处理、集成点)恰恰需要最深的上下文知识。而且 AI 的错误已从语法错误进化为概念性失败,代码“看起来对”、甚至能过基础测试,这才是最危险的。高手的姿态不是照单全收,而是把注意力押在 AI 搞不定的那 20% 上。

METR 研究的反直觉数据:有测量显示资深开发者用 AI 助手在某些任务上反而慢了 19%,时间耗在验证和纠正 AI 输出上。AI 没有消灭实现工作,而是把它从“写”变成了“评审、引导、验证”。

经济学视角:不止步于“开发速度”,引入 CapEx/OpEx 框架

Vibe coding = 低 CapEx、高 OpEx:前期零投入,但隐藏三笔复利债务,token 烧钱率(反复让模型修自己未经核实的错误)、维护税(半年后逆向工程 AI 意大利面代码)、安全修复成本(生产期修漏洞比设计期贵指数倍);

Agentic engineering = 高 CapEx、低 OpEx:前期投资规格、测试套件、上下文结构,换来边际成本骤降。

在 token 经济下,context engineering 是财务杠杆:与其每次塞进十万 token 的整个仓库,不如给一份高信号密度的 AGENTS.md 提高首过成功率;智能模型路由则是另一杠杆:架构设计用大模型,生成测试、CI 监控路由给小而便宜的模型。

引用meng shao@shao__meng
https://x.com/i/article/2109541953155313664
在 X 查看被引用的帖子

来源:meng shao · x.com