跳到正文
meng shao· @shao__meng · X·· 2 小时前AI 评分66
AI 导读

Cursor 与 Grok Bot Harness 负责人 Jediah Katz 在 AI Engineer New York 演讲中回应「Harness 已死」论。

正文 · 原文

Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness!

模型越来越聪明,Harness 里"帮模型写好代码"的那部分确实在消失。但 Harness 还有两项消失不了的职责:一是带模型开拓新的任务边界,二是提供模型无法吸收的基础设施、信任安全和效率。

Youtube 视频:
https://youtu.be/7Y4sbZgBdnc?is=9PAd3si0khM5XkOJ

演讲者与背景
@jediahkatz 2025 年初加入 Cursor,是在 Agent Harness 上工作时间最长的工程师,随 Cursor 被收购后加入 SpaceX并参与 Grok Bot Harness。他梳理了这个领域的称呼变迁:2023 年流行"提示词工程师",2025 年年中变成"上下文工程师",今年业界才定名为"Harness 工程"。

Harness 由什么组成

Harness 是模型的"眼睛和手",向上对接用户使用的 App,向下连接电脑和第三方服务(如 MCP)。他把它分成两层:

运行时层:决定 Agent 循环在哪里运行、状态怎么保存以便中断后继续,比较接近传统软件工程。

上下文与编排层:决定什么时候调用哪个模型、模型能看到什么,包括提示词、工具、记忆、压缩,以及各种行为调校技巧。他形容这一层是"蛮荒西部"。

为什么有人说 Harness 已死

今年年初是 Harness 的高峰:Cursor 用一个叫 Grind Swarm 的长时运行 Harness 从零写出了一个浏览器,成本极高,据说还把 Cursor 搞宕机过一两次。

几个月后,风向变成"Harness 已死":Anthropic 的 Tariq 说 Claude Code 删掉了大部分系统提示词;YC 的 Garry Tan 认为以后只有 Skills 重要;Cursor 自己也删掉了很多护栏,比如专门用来应用代码修改的小模型,以及"如何探索代码库、如何检查自己的工作"这类编码指令。

研究证据:UC Berkeley 测试了 7 个前沿模型配不同 Harness(Pi、Codex、Claude Code),在 SWE-bench Lite 上分数差别不显著;Apple 和 EPFL 发现,专门的 MLE Harness 在 MLE-Bench 上也没有带来明显提升。

他的判断:如今花哨的 Harness 已经不再增加模型的编码能力。原因是一个数据飞轮:Harness 让更难的任务变得可行,于是更多用户用 Agent 去做这些任务,更多数据流向模型厂商,模型把这些技能内化,Harness 就可以删掉当初的补丁。可以说,Harness 在让自己过时。

Harness 为什么没死

开拓新边界:编码能力被模型"商品化"之后,由 Harness 去开辟下一类任务,飞轮再转一圈。他以自家的 Grok Bot 为例:在 Cursor 是不断删提示词、删护栏,在 Grok Bot 却是加回了很多,因为做幻灯片、订旅行这类网页流程,汇报进度但不打扰用户,判断该直接做还是先问(比如替用户发邮件),以及通过记忆学习用户的习惯,这些模型都还没完全掌握。另一个例子是"软件工厂":Bug 报告进来后自动分诊,云端 Agent 修复并录制修复前后的对比视频,上线后再由另一个 Agent 盯着生产环境。这相当于一个编排多个 Agent 的"元 Harness"。

模型吸收不了的部分:

基础设施:Agent 的任务已经从几分钟延长到几小时、几天,不可能放在一台会休眠的笔记本上跑,必须上云;

信任与安全:权限按 Agent、按人收窄,防止灾难性操作,或者醒来发现一张一万美元的 API 账单;

效率:前面那两项研究虽然发现分数差别不大,但单任务成本差别显著。他过去一个月通过提升缓存命中率、Token 效率和优化模型组合,在质量不下降的情况下明显降低了成本和延迟。

接下来的趋势

产品又跑在了模型前面,Harness 会先变乱再变干净,所以设计上要方便功能上线和下线。一个表现是越来越少向用户暴露内部机制,理由是 Hyrum 定律(你暴露的任何东西都会被用户依赖),代价是透明度降低。

设计面向 Agent 的原语(primitives):例如"订阅",用一个统一的工具让 Agent 响应 Slack 消息、CI 失败、定时等各种事件,而不是给每种事件单独做集成。

集中追踪"补丁"(shim):对模型的已知坏习惯,先用确定性规则临时修补(比如提醒它"用户在等你"),每次触发都记录下来;一旦某个补丁不再触发,就由一个 Bot 自动提 PR 删掉它。

抽象层级上移:上一代 Harness 是由多次 LLM 调用组合而成,新一代以 Agent 作为基本单元。

他预测:6 个月内,90% 的 Agent 工作会脱离个人电脑,在云端运行。

引用AI Engineer 🔜 CODE Summit🌉@aiDotEngineer
Inside Grok Bot: is the agent harness dead? @jediahkatz of @spacexai explains why smarter models let Cursor remove prompts and guardrails, and why Grok Bot is adding them back. Watch his AI Engineer New York talk: https://www.youtube.com/watch?v=7Y4sbZgBdnc
在 X 查看被引用的帖子

来源:meng shao · x.com