跳到正文
HuggingFace Daily Papers·· 2 天前AI 评分43

为 Looped Transformers 解码:LoopCD 免训练对比解码实现近乎免费的提升

Decoding Looped Transformers Better for (Almost) Free

AI 导读

研究者提出免训练对比解码框架 LoopCD,通过对比最终预测与较早循环轮的中间表示来引导 token 选择,分为 logit 空间的 LoopCD-Logits 和零输出开销的 LoopCD-Hidden 两种形式。

来源:HuggingFace Daily Papers · arxiv.org