NVIDIA 博客介绍 DGX Spark 上 MoE 推理三种优化

NVIDIA 技术博客介绍在 DGX Spark 上加速 Ling-3.0-flash 推理的三种优化：用 Humming MXFP4 MoE 内核改进路由专家计算，对输出层（LM head）做在线 FP8 量化以减少权重读取量，以及用 NEXTN 做多 token 预测（MTP）投机解码，一次草拟并验证多个 token。 NVIDIA 称，三项优化合计将该模型在 DGX Spark 上的解码吞吐提升 42.5%。这一数字来自 NVIDIA 自身的实测，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。