跳到正文
MarkTechPost· Asif Razzaq·· 1 小时前同事件AI 评分78

阿里发布 Qwen4-Max:2.4T MoE、71B 激活、1M 上下文

Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context

AI 导读

阿里 Qwen 团队发布 Qwen4 系列首个模型 Qwen4-Max,为专有稀疏 MoE 模型,2.4T 骨干参数、每 token 激活 71B,另有 328B N-gram Embedding 参数,支持文本、图像和视频输入及 1M token 上下文窗口、393K 最大输出。

同一件事,精选收录的是《Qwen 发布 Qwen4-Max:2.4T 参数骨干、百万 token 上下文与长程智能体能力》

正文 · AI 翻译

阿里巴巴的 Qwen 团队发布了 Qwen4-Max,这是 Qwen4 系列的首款模型。Qwen4-Max 是一款专有的稀疏 MoE 模型,主干参数规模 2.4T,每个 token 激活 71B 参数。它支持文本、图像和视频输入,并提供 100 万 token 的上下文窗口。阿里同时下调了 API 价格,并称每个任务的平均成本下降了 62%。

要点速览

  • 规模:主干参数 2.4T,每个 token 激活 71B,另有 328B 的 N-gram Embedding 参数。上下文窗口 100 万 token,最大输出 39.3 万 token。
  • 运行方式:仅提供托管服务:QwenCloud API、Token Plan、Qwen Studio、QwenWork 和 Qoder。不开放权重,因此无法自行部署,也没有量化版本。
  • 性能:相比 Qwen3.8-Max 大幅提升。在智能体任务上可与前沿模型一较高下,但在高难度编程和视觉任务上落后。
  • 最佳表现:HLAB-Vals-1.1(法律智能体任务)得分 21.3,排名第二的 Kimi K3.1 为 11.7。

Qwen4-Max 是什么?

Qwen4-Max 是阿里巴巴推出的多模态 MoE 语言模型,面向长周期专业工作打造。本月仅开放了 Token Plan 专属预览。

Qwen4-Max 的架构如何工作?

Qwen4 在三个方面升级了稀疏 MoE 设计:注意力、残差连接和嵌入。

  • GDN + Qwen 稀疏注意力(QSA):每个 QSA 层与 3 个 Gated DeltaNet 层配对。这些层把历史信息压缩成固定大小的状态。随后 QSA 用一个轻量索引器,以微块粒度挑选相关上下文。这降低了长序列上的注意力和索引开销。
  • 门控残差(GR):4 条并行残差分支采用动态读写门控,目标是增强信息流动、提升训练稳定性。
  • N-gram Embedding:额外 328B 参数在第 2 层提供局部 token 模式的查表能力,以很小的额外算力换取更大容量。

阿里称,这次 2.4T 规模的预训练全程没有出现损失尖峰。在内部测试中,Qwen4-Max-Base 的每字节比特数比 Qwen3.8-Max-Base 低 5% 到 13%,而激活参数还少了 25%。

Qwen4-Max 在基准测试中表现如何?

阿里的对比图表覆盖 16 项基准测试。对手包括 Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra 和 Kimi K3.1。其中部分分数引自第三方排行榜,发布时均未经过独立复现。

Qwen4-Max 在 16 项基准中有 4 项排名第一:

  • HLAB-Vals-1.1(法律智能体):21.3,Kimi K3.1 为 11.7,Opus 5.5 为 9.2。
  • Agents’ Last Exam v1.1:46.7,Opus 5.5 和 Kimi K3.1 均为 43.4。
  • BioMysteryBench:85.0,GPT-6.1 Sol 为 84.4。
  • DeepSWE v1.1:75.7,Kimi K3.1 为 75.5。

Claude Opus 5.5 在 16 项图表中领先 7 项。Qwen4-Max 在编程和视觉上差距最明显:

  • ProgramBench:31.5,Opus 5.5 为 65.0。
  • Terminal-Bench 4.0:48.5,Kimi K3.1 为 67.2。
  • Chartography:54.2,GPT-6 Astra 为 71.1。
  • Humanity’s Last Exam:51.7,Opus 5.5 为 59.8。

在阿里自有的 Work360 基准上,Qwen4-Max 得分 52.69,高于 Qwen3.8-Max 的 47.74。Work360 覆盖 26 个一级领域和 721 个专业方向。

Qwen4-Max 为什么运行成本更低?

两件事叠加在一起:token 更少,价格更低。在 Work360 上,Xhigh 档的 token 用量下降约 24%,High 档下降 35%。在 Terminal-Bench 4.0 上,两者分别下降约 48% 和 49%。Work360 每任务平均成本从 4.43 美元降到 1.67 美元,降幅 62%。

标价也降了。输入为每百万 token 1.50 美元,低于Qwen3.8-Max 的 2 美元。输出为 4.50 美元,低于 6 美元。隐式缓存读取降价 70%,从 0.25 美元降至 0.075 美元。

Qwen4-Max 与竞品对比

指标Qwen4-MaxQwen3.8-MaxClaude Opus 5.5GPT-6.1 SolKimi K3.1 Pro
总参数2.4T 主干 + 328B N-gram 嵌入2.4T未披露未披露2.8T
激活参数71B未披露(博客暗示约 95B)未披露未披露104B
上下文1M1M1M1,050,0001,048,576
最大输出393K131K128K128K未披露
输入模态文本、图像、视频未披露文本、图像文本、图像文本、图像
权重专有,仅 API未披露专有专有开放(Kimi K3.1 Pro 许可证)
输入 / 输出价格(每 1M)$1.50 / $4.50$2 / $6$4 / $20$2 / $10$2 / $10
缓存输入(每 1M)$0.075$0.25$0.20$0.10$0.20
DeepSWE v1.1*75.769.374.275.275.5
Terminal-Bench 4.0*48.538.959.656.167.2
Humanity’s Last Exam*51.743.959.854.051.1
ProgramBench*31.528.065.052.525.0
HLAB-Vals-1.1*21.315.49.26.311.7

*分数来自阿里巴巴的Qwen4-Max 图表。Qwen3.8 列对应 Qwen3.8-Max-0902。图表中将 Kimi 标为“Kimi K3.1”。Moonshot 自家的卡片报告 Kimi K3.1 Pro 的 Terminal-Bench 4.0 为 65.7,Opus 5.5 为 66.4。

开发者如何使用 Qwen4-Max?

模型 ID 为 qwen4-max,位于QwenCloud。API 兼容 OpenAI 和 Anthropic 客户端。支持的功能包括函数调用、结构化输出、上下文缓存、批处理、网页搜索和微调。默认速率限制为每分钟 5,000,000 token。思考模式通过 enable_thinking 切换。

订阅访问通过Token Plan提供。

要点速览

  • 2.4T MoE 主干,每个 token 仅激活 71B。
  • 全新的 QSA 注意力、门控残差和 328B N-gram 嵌入。
  • 在 16 个图表基准中 4 项排名第一,其中 HLAB-Vals-1.1 以 21.3 领先。
  • 每百万 token 1.50/4.50 美元,缓存输入降价 70%。
  • 短板:ProgramBench(31.5)和 Terminal-Bench 4.0(48.5)。

查看 Qwen4-Max 官方博客、 QwenCloud 模型页面和 Token Plan 定价页面。你可以通过我们的GPULeaderboard.com Chrome 扩展查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,也别忘了加入我们的 15 万+ 机器学习 SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

文章 Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context 首发于 MarkTechPost。

来源:MarkTechPost · marktechpost.com

事件后续 · 3

查看事件全部