HuggingFace Daily Papers·2026-09-29 08:00· 4 天前AI 评分29

E-MoE：面向非因子化扩散语言模型的增强型混合专家方法

E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

AI 导读

研究提出 E-MoE，用 MoE 骨干的专家路由决策构建离散共享隐变量，将扩散语言模型的反向过程建模为因子化分布的混合，且不增加激活参数量。在合成多模态基准、二值化 MNIST 和 LM1B 上，E-MoE 相比因子化基线改善了少步生成质量。