Zyphra提出利用路由相关性优化MoE专家放置
热点事件持续更新
Zyphra提出利用路由相关性优化MoE专家放置
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
Zyphra Research 提出一种面向 MoE 预训练的“专家耦合”方法：利用专家路由在层内与跨层存在的相关性来优化专家放置，以降低 all-to-all 通信开销。Zyphra 称，专家路由远非随机，现有做法因此损失了可观性能。 其公布的实验数据显示，在 8 台 MI300x 节点集群上，专家并行从 EP8 升到 EP32 时，all-to-all 占训练步时间的比例在 top-2 路由下由 13% 升至 45%，在 top-6 路由下由 24% 升至 60%。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 08:00
Zyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- Zyphra ResearchZyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）
Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置，从而降低 all-to-all 通信开销。实验显示，在 8 台 MI300x 节点集群上，EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%（top-2 路由），top-6 路由下则从 24% 升至 60%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。