Meta 发布编码智能体模型 Muse Spark Open，在 NVIDIA GB300 NVL72 上扩展智能体编码工作流

Meta 发布 Muse Spark Open，这是一款针对编码优化的 816B 混合专家（MoE）模型，拥有 42B 激活参数和 1M token 上下文窗口。该模型在 NVIDIA GB300 NVL72 Blackwell Ultra 上训练，专为智能体编码工作流打造，具备更高的首次尝试准确率、可靠的工具调用能力以及对代码库的深度理解。1M token 上下文窗口可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，无需将任务拆分成片段。

作为推理模型，Muse Spark Open 在图像和文档理解之外还增加了音频和视频感知能力，能够原生且可靠地处理它所看到、听到和读到的内容。由 Meta 生成并针对 NVIDIA Blackwell Ultra 优化的 NVFP4 检查点，借助原生 FP4 Tensor Core 加速，缩小了全部 816B 参数的内存占用。每个 token 移动的字节更少，从而提升每用户每秒 token 数，而释放出的内存可支持更大的 KV 缓存以应对并发的长上下文会话，带来更高吞吐量和更低的每 token 成本。

专为智能体编码打造，支持跨文本、图像、视频和音频的多模态理解

通用编码模型针对单次补全进行优化，例如生成函数、编写单元测试或建议内联修复。它们擅长处理上下文较小、答案即时的离散且范围明确的任务。智能体编码则要求根本不同的能力。规划多文件重构、浏览数千个文件、从失败测试中恢复，以及在长时间跨度内协调子智能体，都需要一个为持续、多步骤工作而构建的模型。

Muse Spark Open 正是为这些工作负载而构建，提供更高的首次尝试准确率、可靠的工具调用能力以及对代码库的深度理解。它能够规划、行动、观察并自我纠正。它支持多步骤任务执行，包括工具使用、输出评估和迭代优化。该模型使用目标条件化来保持方向，并通过上下文压缩来保留在长时间运行的会话中维持进展所需的知识。凭借 1M token 上下文窗口，它可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，无需将任务拆分成片段。

除编码之外，它还能搜索网页（包括多模态浏览），为可分解任务生成并协调子智能体，并利用统一于桌面、移动端和浏览器的计算机使用能力。它在每个动作之前生成单独的说明，让开发者了解智能体正在做什么以及为什么这样做。

该模型的 1.8B 感知编码器原生处理交错的文本、图像、视频帧和音频，无需为每种模态单独设置流水线。这意味着模型在单次统一处理中对它所看到、听到和读到的内容进行推理。这适用于开发者在同一智能体会话中处理截图、图表、错误日志和视频演示的工作流。稀疏 MoE 路由每个 token 仅激活 816B 总参数中的 42B，以远低于同等规模稠密模型的服务成本提供前沿智能体能力。

Flow diagram of Muse Spark Open sparse MoE routing, activating 42B of 816B parameters per token. — *图 1*。Muse Spark Open 稀疏 MoE 架构通过 256 个专家中的 top 8 路由，每个 token 激活 816B 参数中的 42B

视频 1。 Muse Spark Open 根据带旁白音频的屏幕录制诊断 bug，阅读代码库以定位根本原因

Muse Spark Open 在 GB300 NVL72 上优化了性能

NVIDIA GB300 NVL72 采用机架级架构，将 72 块 NVIDIA Blackwell Ultra GPU 集成到单一平台中。其庞大的 72-GPU NVIDIA NVLink 域可实现 130 TB/s 的高效通信，消除了专家流量必须跨越传统现成网络时出现的瓶颈。对于像 Muse Spark Open 这样将每个 token 路由到 256 个专家中的 8 个的稀疏 MoE 模型，该带宽直接决定了部署能实现多少理论吞吐量。

智能体工作负载将静态的单轮交互转变为多步骤工作流，这些工作流会进行推理、调用工具、协调子智能体，并在轮次之间携带不断增长的上下文。开箱即用，在 NVIDIA GB300 NVL72 上运行智能体工作负载的 Muse Spark Open 可提供每 GPU 每秒高达 50K 以及每用户每秒高达 600 tokens，使 AI 工厂能够以高吞吐量和低延迟在生产环境中运行大参数模型。

Pareto curve of Meta Muse Spark Open throughput per GPU against per user interactivity on NVIDIA GB300 NVL72 with acceptance length = 6. — *图 2。运行智能体工作负载时，* *在四块 NVIDIA Blackwell GPU 上采用推测解码的 Muse Spark Open 实现了每 GPU 每秒超过 50K tokens 以及每用户超过 600 tokens*

Muse Spark Open 的灵活部署选项

NVIDIA 支持多种推理栈以满足各类开发者需求。SGLang、vLLM 和 TensorRT LLM 让开发者能够在 NVIDIA 加速计算平台上直接控制服务配置、并行度和批处理。TensorRT LLM 增加了针对 NVIDIA GPU 调优的编译引擎。NVIDIA Dynamo 为这三者发布部署配方，并将预填充与解码分离到专用 GPU 池中，因此计算受限的提示处理不会拖慢 token 生成。其 KV 缓存感知路由将每个请求发送到已持有相关前缀的工作节点，避免在长智能体会话中上下文累积时进行预计算。

使用 NeMo AutoModel 和 Megatron Bridge 对 Muse Spark Open 进行后训练

开发者可以使用 NVIDIA NeMo AutoModel 在特定领域数据集上对 Muse Spark Open 进行后训练，这是一个 PyTorch 原生训练库，原生支持 Hugging Face 检查点，无需模型转换。它开箱即用地支持完整 SFT 和 LoRA 微调，并针对各种行业特定场景的快速实验进行了优化。

当这些工作负载超出单节点规模时，NVIDIA Megatron Bridge 可接收相同的 Hugging Face 检查点，并添加 Megatron Core 张量、流水线和专家并行，使团队无需重新转换模型即可从实验扩展到生产训练。

开始使用 GPU 加速的 Muse Spark Open

要开始使用，请从 Hugging Face 下载 Muse Spark Open NVFP4 权重。对于生产部署，请尝试可下载的 NVIDIA NIM。NIM 将设置简化为一条命令，用自动为检测到的硬件选择最佳服务后端和精度的容器取代基准测试和调优周期。