HuggingFace Daily Papers·2026-10-01 08:00· 4 天前AI 评分38

LOOM：可扩展的循环 MoE 训练方案，支持 9-12 次循环

Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts

AI 导读

研究者提出 LOOM，通过缩放残差更新、每次循环重新注入输入嵌入，并用逐循环路由器和 Looping Residual 缓解专家选择坍缩，使循环 MoE 稳定扩展至 9-12 次循环。