跳到正文
Microsoft Research 博客· Aaron J. Liu, Weijia Xu, Chandan Singh, Jeevana Priya Inala, Bin Yu, Ion Stoica, Michel Galley, Jianfeng Gao·· 28 分钟前精选AI 评分70

Microsoft Research 开源 TokenEconomizer 插件,让编码智能体从经验中省 token

TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient

AI 导读

UC Berkeley、Microsoft Research 与 Microsoft Security 开源 TokenEconomizer 插件,从智能体在同一仓库的历史会话中学习,在不修改智能体和底层模型的情况下降低成本。

推荐理由

原文用 SWE-Bench 数据说明插件如何从仓库历史会话学习降低 token 开销,开发者可据此评估是否接入现有编码智能体。

正文 · AI 翻译
Six coding sessions with shrinking cost bars send their logs to TokenEconomizer, which uses micro-skills, tool pruning and failure-loop intervention to guide an unchanged coding agent through the next session.

概览

  • 开发者日复一日地在同一批代码库中使用 AI 编程智能体,但智能体往往每次会话都从零开始:重新摸索熟悉的事实、加载用不到的工具、重复此前不成功的做法。
  • TokenEconomizer 是一个开源插件,它能从智能体在某个代码库中的历史会话中学习,减少后续会话中的浪费,而且无需改动智能体或其底层模型。
  • 在 277 个真实的缺陷修复任务中,TokenEconomizer 让多个 AI 编程智能体的成本降低了 18.4%–30.9%。所有受测代码库的成本都有下降,任务成功率总体保持稳定。

AI 编程智能体正越来越多地帮助开发者基本独立地修复缺陷、构建功能,但每一次与模型的交互都会消耗 token。在每次会话中,智能体都要向模型发送指令、工具描述和会话历史。大多数降低这部分成本的努力都聚焦于单个任务。然而开发者会反复回到同一批代码库,这就给了智能体从以往工作中学习的机会。缺少这种学习,智能体可能反复摸索如何运行测试、加载从未用过的工具,或者花上几十轮反复纠缠同一个错误。 

在我们的论文 TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents 中,我们提出了一个简单的问题:在某个代码库中积累的经验,能否帮助智能体更高效地完成后续任务?TokenEconomizer 是来自加州大学伯克利分校、微软研究院和微软安全团队的开源插件,它把已完成的会话转化为对后续会话的指导。它无需改动智能体或其底层模型就能减少浪费,因此开发者可以把它与已经在用的编程智能体搭配使用。

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.
图 1. 每个完成的会话都会让 TokenEconomizer 对这个代码库多一分了解,后续会话消耗的 token 也就更少。 

token 都花在哪了

我们首先在 SWE-Bench 的 60 个任务上对 Claude Code 做了剖析。SWE-Bench 是一个基于开源 Python 项目真实缺陷修复的基准测试,我们按顺序运行每个代码库中的任务。有三类浪费反复出现:

  • 反复摸索同样的事实。当一个代码库累计完成至少五个任务后,30% 的工具调用重复了该代码库中更早任务里的某个操作。只有 7% 与另一个代码库历史中的操作相匹配。
  • 为用不到的工具付费。智能体每一轮都会收到 23 个工具描述,但其中 16 个从未被调用。
  • 卡在失败上。失败的任务占 17%,却消耗了 32% 的开支。

我们还测试了三款流行的开源插件,它们各自围绕一种固定的降本策略构建。每款插件都能降低部分代码库的成本,但对另一些代码库则无效。综合来看,这些发现表明,有效的成本控制必须因代码库而异,而不能到处套用同一种策略。

TokenEconomizer 如何工作

每次会话结束后,TokenEconomizer 会读取该会话的日志,并更新它对代码库的了解。随后它通过三种机制发挥作用,且只使用智能体已经提供的接口,如图 2 所示。

微技能以一行笔记的形式记录代码库特有的知识。TokenEconomizer 会识别跨会话反复出现的模式,并提出相应的笔记。只有在多个会话确认该模式之后,笔记才会被加入智能体的起始上下文;如果后续证据与之矛盾,则会将笔记撤下。

工具裁剪会移除仓库历史显示智能体不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。被移除的工具如有需要可以恢复。

失败循环干预会监测反复遭遇同一失败的智能体。由一个评判模型判断智能体是真的卡住了,还是仍在取得进展。如果确实卡住,智能体会收到一条简短提示,建议换一种方法。在开源插件中,如果智能体收到提示后仍然卡住,TokenEconomizer 会通知开发者,而不是自行中止工作。

TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.
图 2。TokenEconomizer 与未经改动的编码智能体协同工作。微技能补充学到的事实,工具裁剪精简已加载的工具,失败循环干预则为卡住的工作重新指明方向。每个会话结束后,这三部分都会更新。 

该控制器会随着新证据的出现修正自己的决策。所报告的节省也已计入 TokenEconomizer 自身模型调用的成本。

在每个仓库都能省钱

我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI 编码智能体与模型组合。对每个仓库,TokenEconomizer 都从没有任何历史会话记录的状态开始。 

如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并且在全部 30 个仓库与组合配对中都实现了最大幅度的节省,同时没有性能损失。相比之下,降低模型的推理强度虽然能节省相近甚至更多的成本,却会导致性能大幅下降。

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).
图 3。在 SWE-Bench 上,TokenEconomizer 在五种智能体–模型组合中将每个任务的平均成本降低了 18.4–30.9%(左),其中四种组合的 Pass@1 还有所上升(右)。 

随着经验积累,节省会越来越多。早期任务在 TokenEconomizer 学习期间成本可能更高,但如图 4 所示,到第六个任务时,每个仓库的累计成本都已低于默认水平。每种机制单独都能带来节省,三者结合则降幅最大。

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.
图 4。使用 Claude Code 时,各仓库任务相对于默认水平的累计成本变化。从零历史开始,每个仓库到第六个任务时都变得更便宜。 

这种节省也延续到了连续进行的 Web 开发任务中,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计场景中,每个任务都位于新仓库,成本降低了 6.4–19.6%。

未来展望

TokenEconomizer 为编码智能体开辟了一条新路径:不仅学会如何解决任务,还学会如何更有效地使用计算资源。其轻量级控制器展示了经验如何在不改变底层智能体或模型的情况下提升效率。

这个开源插件让开发者和研究者都能接触这些方向。它的设计目标是与现有 AI 编码智能体并行运行,无需修改其底层模型,自身也不需要 API 密钥,并且学到的内容都保留在开发者本机。我们邀请社区以它为起点,探索那些能随经验变得更善于调配资源的智能体——既调整工作方式,也调整知识储备。 

阅读论文

获取代码

查看项目

在新标签页中打开

文章 TokenEconomizer:从经验中学习,让 AI 编码智能体更高效 首发于 Microsoft Research。

来源:Microsoft Research 博客 · microsoft.com