HuggingFace Daily Papers·· 2 天前AI 评分43
为 Looped Transformers 解码:LoopCD 免训练对比解码实现近乎免费的提升
Decoding Looped Transformers Better for (Almost) Free
AI 导读
研究者提出免训练对比解码框架 LoopCD,通过对比最终预测与较早循环轮的中间表示来引导 token 选择,分为 logit 空间的 LoopCD-Logits 和零输出开销的 LoopCD-Hidden 两种形式。
来源:HuggingFace Daily Papers · arxiv.org