Meta 发布开放权重模型 Muse Spark Open，上线 Baseten 支持 coding agent

Meta 发布了 Muse Spark Open 的权重，该开放权重版本在发布首日即可在 Baseten Model APIs 和 Dedicated Inference 上使用。它是迄今为止能力最强的美国开放权重模型。

Muse Spark Open 具备：

• 总参数 816B，推理时激活 42.7B，

• 1M token 上下文窗口，以及

• 全模态输入（文本、图像、视频、音频），输出为文本。

Muse Spark Open 与 Muse Code 联合训练，专为编码智能体工作流设计。其全模态输入还支持纯文本模型无法实现的开发者工作流。对于支持图像、视频或音频输入的智能体，你可以利用：

• 截图驱动的 UI 调试：智能体将渲染页面的截图与设计稿或缺陷报告图片进行对比，并直接修复布局代码。

• 视频复现为测试用例：你录制一段缺陷的屏幕录像。智能体观看后提取步骤，并编写复现脚本或端到端测试。

• 语音驱动的结对编程：你一边说话一边打字来引导智能体，音频作为直接输入，而非先转写为文本。

编码智能体的竞争力表现

除 Muse Code 外，Muse Spark Open 还可集成第三方编码智能体，如 OpenCode、Pi 和 Deep Agents Code。根据 Meta 公布的基准测试分数，Muse Spark Open 在智能体编码和知识工作方面与其他前沿实验室的模型具有竞争力。

在智能体编码基准测试中，每个当前模型都使用其所属实验室自己的编码智能体进行测试（Muse Spark 搭配 Muse Code，Claude Opus 5 搭配 Claude Code，GPT-5.6 Terra 搭配 Codex），而非使用统一的测试框架，因此分数反映的是每个模型在其原生工具中的表现。

✕

Meta 将 Muse Spark Open 与前沿实验室的模型进行了基准对比。对比集包含各实验室的旗舰模型，但不包括其之上的顶级模型（Claude Fable 5.1、GPT-6 Astra）。

来源：https://developer.meta.com/ai/models/muse-spark-1-2/

在常规智能体循环中（运行命令、读取输出、修复出错之处），Muse Spark Open 的表现应接近旗舰闭源模型。在跨多个步骤的大型多文件修改中，预计它比 Claude Opus 5 或 GPT-5.6 Terra 需要更多引导或重试，但面对 Grok 4.5 和 Gemini 3.6 Flash 时表现稳健。当智能体需要撰写其工作成果时，它击败了图表中除 Opus 5 之外的所有模型。

为智能体设计的模型架构

编码智能体工作流既需要高吞吐量以支持迭代推理循环，也需要内存效率以跟踪长上下文。为满足这些需求，Muse Spark Open 采用了特定的模型架构设计：

• 压缩的混合专家（MoE）模块，通过减少参数占用和 GPU 间通信来提升吞吐量。

• 混合全局/局部注意力调度，在长上下文下将 KV 缓存内存开销缩减 3.7 倍。

借助压缩 MoE 模块提升吞吐性能

编码智能体在紧密循环中读取上下文、推理、生成并重新读取结果，要求模型具备高吞吐量。并行运行后台子智能体会进一步推高这一吞吐量需求。

为了提升吞吐能力，Muse Spark Open 使用了压缩的混合专家（MoE）模块。一个共享池化器在将输入向量传递给专家之前对其进行压缩，专家的组合输出通过一个共享反池化器投影回原始维度。为每个 token 选择专家的路由器仍然读取全宽向量。

✕

压缩 MoE 在专家之前添加了一个共享池化器，并在专家输出组合之后添加了一个共享反池化器。

在这个压缩向量上进行操作：

• 将每个专家的参数量减半，与未压缩设计相比，模型总规模缩小约 800B 参数。

• 释放 GPU 内存，用于更大的 KV 缓存和并发序列。

• 将 MoE 层中的 GPU 间通信量降至最低，从而直接提升吞吐量。

通过全局/局部注意力高效服务长上下文

编码智能体在每一步都会累积上下文，因为它们会构建任务轨迹、推理过程以及代码库的大部分内容。该上下文中的每个 token 都会作为 KV 缓存占用 GPU 内存，而在传统模型中，每一层都保留自己的 KV 缓存。

为了管理 GPU 内存使用，Muse Spark Open 使用了混合注意力调度。在其 62 层中，有 46 个局部注意力层，使用 2048 token 的滑动窗口和旋转位置嵌入（RoPE）来跟踪词序。此外，还有 16 个全局注意力层，它们以无位置编码（NoPE）方式查看完整序列，依赖早期层已经捕获的词序信息。

传统架构与混合注意力调度对比

✕

Muse Spark Open 将 46 个局部注意力层与 16 个全局注意力层交错排列，在 128K 上下文（典型的智能体工作集）下，将每个序列的 KV 缓存内存从 31 GiB 降至 8.4 GiB。节省量随上下文长度增长而增加。

每个局部注意力层只跟踪最近的 2048 个 token，其存储的早期 token 的 KV 缓存数据可以被覆盖。旧 token 的完整上下文不会被模型遗忘，而是保留在全局注意力层的 KV 缓存中。这种设计限制了局部注意力层的 KV 缓存，与仅有全局注意力层的模型相比，在 128K token 上下文下将 KV 缓存内存使用量减少了约 3.7 倍。

从架构到推理优化

智能体工作负载在服务时的一项关键成本是模型权重的内存占用，这限制了单个节点上能容纳多少智能体会话。Baseten 的 Muse Spark Open Model API 通过服务 NVFP4 检查点来解决这个问题，这将权重占用减少约三分之二，并释放内存用于 KV 缓存。

在 NVFP4 检查点中，专家权重以 4 位存储，仅在精度最重要的地方使用完整 bf16：注意力权重以及第一层和最后一层的专家。这将模型权重规模从约 1.6 TB 降至 540 GB。完整模型可放在单个 4×GB300 节点上，避免了权重和 KV 缓存的多节点互连。释放出的内存用于 KV 缓存，使每个节点上可以运行更多并发智能体会话并提高吞吐量。

开始使用 Muse Spark Open

Muse Spark Open 现已在 Baseten Model APIs 上提供。该端点与 OpenAI 兼容，因此你可以连接你的编码智能体并将其指向 Muse Spark Open，而无需更改你的框架。我们提供针对 Blackwell 优化的 NVFP4 权重，并支持工具调用、推理输出以及完整的 1M 上下文窗口。

对于大规模运行智能体的团队，我们还提供具有预留容量的 Dedicated Inference 部署。联系我们，与我们的工程师讨论您工作负载的具体需求。