跳到正文
HuggingFace Daily Papers·· 1 天前AI 评分40

AgSpec:把基于检索的投机解码推向编码智能体流水线极限

AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines

AI 导读

AgSpec 是一个面向编码智能体流水线的检索式投机解码框架,从会话、工作区和全局语料库中检索草稿 token,并按智能体离线画像设定草稿长度上限、再依据验证反馈在线调整。在两个仓库级多智能体编码基准上,AgSpec 在多数设置下优于五种检索式草稿器和 EAGLE-3,batch size 1 时生成吞吐较自回归解码最高提升 4.37 倍,batch size 16 时最高 4.76 倍。

来源:HuggingFace Daily Papers · arxiv.org