热点事件 历史事件

Inferact 训练并开源用于 Kimi K3 的 DSpark 推测解码器,草稿模型与推理支持随本发布开源,vLLM 提供配套支持

1 篇报道1 个精选信源

先了解这件事

报道摘要

vLLM 官方宣布 Day-0 支持 Kimi K3,这是一个 2.8 万亿参数的 MoE 模型(每 token 激活 896 专家中的 16 个),基于 Kimi Delta Attention 与 Attention Residuals,支持 1M token 上下文窗口和原生视觉。

摘自 vLLM 官方博客

报道时间线

沿着报道,了解事件的不同侧面。

显示 1全部报道最新在前
  1. vLLM 官方博客官方一手精选
    vLLM 发布 Kimi K3 Day-0 支持:2.8T 混合 MoE 的部署指南与性能数据

    vLLM 官方宣布 Day-0 支持 Kimi K3,这是一个 2.8 万亿参数的 MoE 模型(每 token 激活 896 专家中的 16 个),基于 Kimi Delta Attention 与 Attention Residuals,支持 1M token 上下文窗口和原生视觉。