HuggingFace Daily Papers(社区热门论文)·· 3 天前AI 评分41
WaveFront Decoding:面向循环语言模型的无训练自推测解码框架
WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
AI 导读
WaveFront Decoding(WFD)是一种面向循环语言模型的无训练自推测解码框架,利用中间循环输出作为草稿预测、并借助权重共享批量处理不同位置与循环深度的 token 状态。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org