按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型
AI 导读
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
vLLM 官方博客(RSS)
54
AI 编辑部评分,满分 100vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
来源:vLLM 官方博客(RSS)· vllm.ai