跳到正文
MarkTechPost· Asif Razzaq·· 3 小时前同事件AI 评分82

Meta 发布 Muse Spark Open:816B 开源权重 MoE 模型,支持 1M 上下文

Meta Releases Muse Spark Open: 816B Open-Weight MoE With 1M Context

AI 导读

Meta Superintelligence Labs 发布 Muse Spark 模型的开源权重版本 Muse Spark Open,为 816B 总参数、每 token 激活 42B 的多模态 MoE 模型,支持文本、图像、视频和音频输入,上下文窗口 1M token。

同一件事,精选收录的是《Meta 发布开源权重模型 Muse Spark Open,816B 参数、1M 上下文》

正文 · AI 翻译

Meta Superintelligence Labs 发布了 Muse Spark Open,这是其 Muse Spark 模型的开源权重版本。Muse Spark Open 是一个 816B 参数的混合专家模型,每个 token 激活 42B 参数。它接受文本、图像、视频和音频输入,返回文本,并拥有 1M token 的上下文窗口。Meta 团队声称它是迄今为止能力最强的美国开源权重模型。对开发者而言,真正的新闻在于部署:NVFP4 版本可在 2 台 Apple M5 Ultra Mac Studio 上运行。

TL;DR

  • 规模:816B 总参数 / 42B 激活参数(256 个专家,每个 token 激活 8 个);1M token 上下文。
  • 运行于:通过 MLX 在 2 台 Mac Studio(M5 Ultra,各 512 GB)上运行;使用 NVFP4 时需 4 块 Blackwell Ultra GPU 或 8 块 H200;通过 Unsloth 2-bit GGUF 约需 300 GB 配置。
  • 性能:在智能体工具使用方面表现强劲;在编码方面处于大型开源模型的中游。
  • 最佳:MCP-Atlas 89.2,在 Meta 的对比表中得分最高。
  • 最差:Terminal-Bench 2.1 76.4,落后于 Kimi K3(85.0)、GLM 5.3(83.9)和 Qwen3.8(82.0)。

什么是 Muse Spark Open?

Muse Spark Open 是 Meta 推出的原生多模态 MoE 模型,专为编码和长时程智能体工作而构建。权重以 BF16 和 NVFP4 格式在 Hugging Face 上发布。开源版本接受了额外的安全后训练。Meta 团队表示,这使其在没有系统级护栏的情况下更加稳健。

架构如何工作?

模型卡列出了 62 层和 8192 的隐藏维度。每个 MoE 层包含 256 个专家,top-k 路由每个 token 激活 8 个。注意力采用分组查询,具有 128 个查询头和 16 个 KV 头。一个独立的 1.8B 参数感知编码器处理视觉输入。词表包含 202,048 个 token,训练数据覆盖 100 多种语言。

推理深度通过 reasoning_effort 设置:low、medium、high 或 xhigh。默认为 xhigh。

Muse Spark Open 在基准测试中表现如何?

Meta 在最大推理努力下将其与 Kimi K3、GLM 5.3、Qwen3.8-2.4T-A95B 等模型进行比较。其最强结果体现在工具使用和知识可靠性方面:

  • MCP-Atlas:89.2,领先于 Qwen3.8(84.5)和 GLM 5.3(84.2)。
  • JobBench:61.8,略微领先于 GLM 5.3(61.4)。
  • HLE-Diamond,无工具:26.1,而 Kimi K3 为 22.2。
  • AA Omniscience:25,在 Meta 的表中得分最高。
  • ZeroBench 带工具:50.0,而 Kimi K3 为 41.0。

编码是薄弱环节。在 Terminal-Bench 2.1 上使用 Terminus 2 测试框架,它得分为 76.4。Kimi K3 达到 85.0,GLM 5.3 得分为 83.9,Qwen3.8 得分为 82.0。其 Artificial Analysis Intelligence Index 为 39。这落后于 GLM 5.3(45)、Kimi K3(44)和 Qwen3.8(40)。因此“美国最强”成立,但中国开源模型整体仍领先。

部分竞争对手的分数为自我报告;评估方法列出了每个来源。

Muse Spark Open 需要什么硬件?

根据 Meta 的开发者指南,BF16 权重约为 1.6 TB。NVFP4 仅量化专家部分,约为 530 GB。模型卡建议 NVFP4 至少需要 700 GB 显存,BF16 需要 2 TB。

  • 数据中心:NVFP4 在 4 块 Blackwell Ultra GPU 或 8 块 H200 上运行。
  • 桌面端:2 台各配 512 GB 的 M5 Ultra Mac Studio,通过支持 RDMA 的 Thunderbolt 5 互联。MLX 张量并行将每一层拆分到两台机器上。
  • 工作站:Unsloth Dynamic GGUFs 低至 2-bit 量化,可装入约 300 GB 的总内存中。

开发者可以在哪里运行它?

首日支持的引擎包括 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp 和 Unsloth。托管 API 已在 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 上线。OpenRouter 标价为每 100 万输入 token 1.25 美元、每 100 万输出 token 4.25 美元。

两个草稿模型可加速解码:用于 SGLang 的 DFlash V2 和用于 vLLM 的 DSpark。Meta 报告称,在 AMD MI355X 上使用 DFlash V2 时单请求吞吐量提升 3.7 倍。微调支持 TorchTitan、Hugging Face TRL 和 NVIDIA NeMo AutoModel。

Muse Model License 允许什么?

Muse Model License 允许使用、微调、蒸馏和再分发。有 2 个条件最为重要:

  • 产品必须展示“Built with Muse Spark Open.”
  • 12 个月营收超过 2000 万美元的 Model-as-a-Service 提供商需要与 Meta 单独签订协议。

内部使用、研究以及为自己的产品功能提供支持不受营收条款约束。

Muse Spark Open vs Kimi K3 vs GLM 5.3 vs Qwen3.8

特性Muse Spark OpenKimi K3GLM 5.3Qwen3.8-2.4T-A95B
总参数816B2.8T753B2.4T
激活参数42B104B~40B95B
上下文1M1,048,5761,048,576262,144 原生,最高 1,010,000
输入文本、图像、视频、音频文本、图像、视频文本文本
许可证Muse Model LicenseKimi K3 Licenseglm-5.3 licenseqwen3.8-max license
发布权重BF16、NVFP4MXFP4 (QAT)BF16、FP8BF16
AA Intelligence Index(via Meta)39444540
Terminal-Bench 2.1、Terminus 2(via Meta)76.485.083.982.0
MCP-Atlas(via Meta)89.282.384.284.5
Toolathlon Verified(厂商)72.876.573.072.5
HLE with tools(厂商)61.056.062.556.2
DeepSWE 1.1(厂商,自有测试框架)6067.566.956.6
桌面端配置2x M5 Ultra Mac Studio未披露未披露未披露

关键要点

  • 816B 总参数、42B 激活参数、1M 上下文,支持文本/图像/视频/音频输入。
  • 在 MCP-Atlas(89.2)和 JobBench(61.8)上领跑 Meta 的开放模型榜单。
  • 在 Terminal-Bench 2.1(76.4)上落后于 Kimi K3、GLM 5.3 和 Qwen3.8。
  • NVFP4 版本可通过 MLX 在 2 台 M5 Ultra Mac Studio 上运行。
  • 对大多数用户免费;营收超过 2000 万美元的 MaaS 提供商需要签订协议。

查看 模型权重、 研究博客、开发者指南 和 评估方法。所有功劳归于本项目的研究者。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

文章 Meta Releases Muse Spark Open: 816B Open-Weight MoE With 1M Context 首次发表于 MarkTechPost。

来源:MarkTechPost · marktechpost.com