跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分39

SplitMoE:用分角色稀疏架构打破视频扩散模型的均匀性陷阱

Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE

AI 导读

针对传统 token-wise MoE 因均匀专家使用正则化导致的"均匀性陷阱",SplitMoE 提出分角色稀疏架构,将专家池拆分为语义专家与通用专家,配合原型引导路由和拉推正则化,让 token 按语义属性自然聚类。在等效激活参数预算下,SplitMoE 在收敛速度、路由一致性和视频生成质量上均优于传统负载均衡 MoE。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org