跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 3 天前AI 评分41

WaveFront Decoding:面向循环语言模型的无训练自推测解码框架

WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models

AI 导读

WaveFront Decoding(WFD)是一种面向循环语言模型的无训练自推测解码框架,利用中间循环输出作为草稿预测、并借助权重共享批量处理不同位置与循环深度的 token 状态。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org