SGLang 推出 MoE 弹性专家并行在线扩容
热点事件观察中
SGLang 推出 MoE 弹性专家并行在线扩容
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
LMSYS Blog 介绍 SGLang 的弹性专家并行扩展（Elastic EP Scaling）：MoE 模型可在运行中按细粒度增量加入 GPU，无需部署完整副本或重启服务。 使用前需把 max_ep_size 设为部署预期达到的最大拓扑；上限越高，活跃 GPU 上预留的通信缓冲内存越多，留给 KV cache 的内存越少。 该功能目前不支持自动回滚：加入的 rank 进入 Mooncake WORLD 后若在收尾阶段失败，可能需要重启部署。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 00:00
SGLang 弹性专家并行扩展：用 NIXL 在线扩容 MoE 部署报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- LMSYS BlogSGLang 弹性专家并行扩展：用 NIXL 在线扩容 MoE 部署
SGLang 的 Elastic EP Scaling 让 MoE 模型可在运行中按细粒度增量加入 GPU，无需部署完整副本或重启服务，max_ep_size 预留元数据与通信缓冲容量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。