HuggingFace Daily Papers（社区热门论文）·2026-09-26 08:00· 3 天前AI 评分39

研究：MoE 模型合并后的路由漂移不足以诊断路由失效

Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs

AI 导读

针对 DeepSeekMoE、OLMoE 和 Qwen3-MoE 的研究发现，MoE 模型合并后大部分专家重分配源于输入偏移而非同层参数变化，源路由差异难以预测恢复源路由带来的下一 token 似然增益。