按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)vLLM 发布 MiniMax M3 Day-0 支持:1M 上下文多模态推理
AI 导读
vLLM 宣布对 MiniMax M3 的 day-0 支持,覆盖 BF16 与 MXFP8 检查点,支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码(草稿模型 Inferact/MiniMax-M3-EAGLE3)以及 TP/EP 部署和 Docker 镜像。
vLLM 官方博客(RSS)
精选
69
AI 编辑部评分,满分 100vLLM 发布 MiniMax M3 Day-0 支持:1M 上下文多模态推理
vLLM 宣布对 MiniMax M3 的 day-0 支持,覆盖 BF16 与 MXFP8 检查点,支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码(草稿模型 Inferact/MiniMax-M3-EAGLE3)以及 TP/EP 部署和 Docker 镜像。
推荐理由
官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节,部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。
来源:vLLM 官方博客(RSS)· vllm.ai