按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持
AI 导读
vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。
vLLM 官方博客(RSS)
精选
72
AI 编辑部评分,满分 100vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持
vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。
推荐理由
原文给出架构细节、量化方案和硬件要求,读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。
来源:vLLM 官方博客(RSS)· vllm.ai