热点事件 历史事件
SGLang团队与WiCi AI团队发布SSD Expert Pack功能:将SSD-LLaMA思路引入SGLang MoE推理,把路由专家置于NVMe SSD按需直接I/O加载,可在消费级硬件上运行DeepSeek-V4-Flash与Kimi-K3
先了解这件事
报道摘要SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。
报道时间线
沿着报道,了解事件的不同侧面。
显示 1 篇全部报道,最新在前
- SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。