返回
AI 评分 54/100

vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型

vLLM 官方博客(RSS)·2026-09-15 08:00·1天前·Helen Zhao, Fynn Schmitt-Ulms, Yuchen Fama, and Antonio Javier Fernandez Dominguez
AI 导读

vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。

vLLM 官方博客(RSS)
54AI 编辑部评分,满分 100

vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型

2026-09-15 08:00· 1天前· Helen Zhao, Fynn Schmitt-Ulms, Yuchen Fama, and Antonio Javier Fernandez Dominguez
AI 导读

vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:vLLM 官方博客(RSS)· vllm.ai