按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)vLLM x Novita AI:面向 Kimi K2.x 的 INT4 MoE 算子 Chord,H200 最高 1.3x、B300 最高 2.15x
AI 导读
Novita AI 开源了面向 Kimi K2.x 服务形态的 W4A16 MoE CUDA 算子 Chord,支持 BF16 激活、INT4 权重与 group-32 scale,其 indexed 路径兼容 Humming 导入根,可通过 --quantization humming 在兼容的 vLLM 版本上启用。
vLLM 官方博客(RSS)
42
AI 编辑部评分,满分 100vLLM x Novita AI:面向 Kimi K2.x 的 INT4 MoE 算子 Chord,H200 最高 1.3x、B300 最高 2.15x
Novita AI 开源了面向 Kimi K2.x 服务形态的 W4A16 MoE CUDA 算子 Chord,支持 BF16 激活、INT4 权重与 group-32 scale,其 indexed 路径兼容 Humming 导入根,可通过 --quantization humming 在兼容的 vLLM 版本上启用。
来源:vLLM 官方博客(RSS)· vllm.ai