HuggingFace Daily Papers·· 4 天前AI 评分40
ALoDLM:自适应循环扩散语言模型
ALoDLM: Adaptively Looped Diffusion Language Models
AI 导读
ALoDLM 用 token 自适应潜在循环替代均匀计算,按 token 难度分配算力,已提交的 token 作为离散上下文反馈,未解决的 token 继续循环精修潜在状态。研究将 token 级计算调度建模为潜在变量并推导条件 NELBO,训练了 1.7B 和 8B 两个规模。在 11 个基准上,ALoDLM 平均得分超过所有对比的扩散模型和对应 AR 基线,同时保留快速并行解码。
来源:HuggingFace Daily Papers · arxiv.org