HuggingFace Daily Papers（社区热门论文）·· 4 天前AI 评分39
提出连续深度批处理技术，实现循环语言模型的高效自适应推理
Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching
AI 导读
针对循环语言模型（Looped LMs）中不同 token 循环次数不同导致无法使用标准批处理系统的问题，研究者提出了“连续深度批处理”（CDB）方法。该方法通过在循环步骤间动态构建新批次、管理 KV 缓存及预测退出时机，实现了高效的深度自适应推理。实验表明，全循环架构最适合此方法，CDB 可实现高达 99% 的预估最大加速比。
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org