返回
精选AI 评分 72/100

vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持

vLLM 官方博客(RSS)·2026-08-12 08:00·31天前·vLLM Team and Inferact
AI 导读

vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。

vLLM 官方博客(RSS)
精选
72AI 编辑部评分,满分 100

vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持

2026-08-12 08:00· 31天前· vLLM Team and Inferact
AI 导读

vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。

推荐理由

原文给出架构细节、量化方案和硬件要求,读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:vLLM 官方博客(RSS)· vllm.ai