NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型，面向企业专用智能体
NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning
NVIDIA 发布开源可定制多模态模型 Nemotron 3.5 Super VL，采用 120B 参数 MoE 架构、每 token 激活 12B 参数，官方称在单 GPU 上智能体任务吞吐最高达同规模开源模型的 5x。
同一件事，精选收录的是《NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款端侧模型》
常驻运行的智能体正在承担更长、更复杂的企业工作流。单个请求可能涉及阅读文档、跨来源核对信息、遵循公司政策以及调用多个工具。
NVIDIA Nemotron 3.5 Super VL 是一款面向这些专业化工作流的开放、可定制多模态模型。其 120B 参数的 混合专家（MoE） 架构每个 token 激活 12B 参数，在模型容量与推理效率之间取得平衡。
在单块 GPU 上，该模型在智能体任务上的吞吐量最高可达同规模类别中其他 开放模型 的 5 倍。
该模型将推理、指令遵循和工具使用与文本、图像、文档和视频理解相结合。通过将这些能力整合到一个模型中，团队无需部署单独的文本模型和 视觉语言模型，也无需在它们之间传递任务上下文，即可处理文本和视觉任务。
开发者可以使用 NVIDIA NeMo，利用自己的数据、工具、策略和工作流对 Nemotron 3.5 Super VL 进行后训练。本文介绍如何利用这一基础构建专业化的企业智能体，并描述为其提供支持的训练和推理技术。
为什么选择 Nemotron 3.5 Super VL 构建专业化智能体？
智能体需要理解其任务和运行环境。客服智能体必须遵循公司退货政策。研究智能体跨来源连接证据，而文档智能体则解读表格、图表和页面布局。
Nemotron 3.5 Super VL 在一系列智能体工作流中结合了推理与视觉理解，包括：
- 编码：测试和验证代码、分析错误并推荐修复方案。
- 网络研究：跨网站搜索、连接信息并验证答案。
- 文档智能：从表格、图表和页面布局中提取信息，生成摘要和报告。
- 网络安全：识别安全漏洞并对威胁进行分级，以确定修复优先级。
- 视频理解：提取信息用于搜索、内容审核和事件分析。
在模型系统中，Nemotron 3.5 Super VL 处理需要推理、工具使用以及文本与视觉理解相结合的专业化多步骤工作。较小的模型（如 NVIDIA Nemotron 3.5 Lightning）处理高吞吐量的文本任务，而前沿模型（如 NVIDIA Nemotron 3 Ultra）则负责复杂的规划与编排。
针对领域数据、工具和策略定制 Nemotron 3.5 Super VL
专业化智能体必须了解组织的运作方式。领域术语、工具接口、操作流程和策略要求决定了智能体如何成功完成任务。
从网络安全、金融到医疗健康等各行各业的组织正在对 Nemotron 3.5 Super VL 进行后训练，使其在生产工作流中的准确性和效率超越前沿模型。例如：
- AI 数据与技术提供商 Scale AI 为媒体和娱乐公司 Skydance Corporation 的自动化供应商信用处理对 Nemotron 3.5 Super VL 进行了后训练。该工作负载的推理成本将降低 40 倍，延迟降低 5 倍。
- Ramp 是一家金融运营平台提供商，正在将收据图像转换为包含商户信息、日期和支付数据的结构化 JSON。Ramp 预计吞吐量最高提升 50%，延迟降低至原来的十分之一。
- 企业 AI 公司 AI21 为 AI 安全与安保公司 Alice 的威胁情报和漏洞分析对 Nemotron 3.5 Super VL 进行了后训练，准确率提升了 40%。
团队可以使用 NVIDIA NeMo 开源库对模型进行后训练以满足这些需求。开发者可以使用 NVIDIA NeMo AutoModel 进行监督微调（SFT）和低秩适配（LoRA），以教会模型特定领域的行为。强化学习（RL）可提升在反映组织工作流的智能体环境中的性能。
除 Nemotron 3.5 Super VL 之外，NVIDIA 还在 Hugging Face 上发布开放数据集。这些数据集包括智能体工具使用和对话数据、金融推理和工具调用数据集、指令遵循和聊天数据、长上下文转导和翻译数据、公平性数据，以及 45 个视觉语言数据集。这些数据集可以补充专有数据，用于 SFT 和 RL。
对于多模态数据，可从 NeMo Data Designer 资源入手，用于图表问答和长文档理解。探索 NVIDIA NeMo RL 和 NVIDIA NeMo Gym 以进行 RL 和基于环境的评估。
组织可以在受支持的本地、数据中心或云环境中调整和部署该模型的开放权重，以满足其基础设施和数据需求。有关定制资源，请参阅 GitHub 上的 Nemotron 3.5 Super VL 使用手册。
在一个工作流中结合文本和视觉理解
Nemotron 3.5 Super VL 将文本、图像、文档和视频理解与推理和指令遵循相结合，以跨这些输入回答问题。
其视觉训练涵盖图表、表格、光学字符识别（OCR）、多页文档和视频理解。两阶段 SFT 流水线训练语言和视觉组件，将视觉证据与推理、聊天、安全、长上下文数据和智能体轨迹相结合。
对于文档智能，同一模型可以解读图表，将其与文档中其他位置的表格关联起来，并对两者进行总结。开发者可以根据自己的文档和评估标准定制工作流。
使用 NeMo Data Designer 生成的多样化训练数据帮助模型更好地理解复杂图表。在图表推理基准 CharXiv 上，该模型得分为 80.8%，而 Nemotron 3 Nano Omni 为 63%。借助 Python 代码解释，它达到了 84%。有关方法和经验教训，请阅读图表理解深度解析和开源图表问答流水线。
该模型是在 Nemotron Coalition 组织的支持和专业知识帮助下构建的。例如，来自 Perplexity 的高质量数据集帮助改进和简化了模型的中期训练。来自 Prime Intellect 的环境使构建更好的教师模型成为可能。
Nemotron 3.5 Super VL 也是 OCRBench v2 排行榜上排名靠前的开放模型之一。
跨智能体任务的准确性和效率
对 Nemotron 3.5 Super VL 在 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude 上的评估。除编码任务外，智能体框架提供商还使用自己的评估来测试各种智能体任务。在 Hermes Bench 和 LangChain 行为评估上，Nemotron 3.5 Super VL 的得分高于 Nemotron 3 Ultra。
| 模型 | Hermes Bench | LangChain Evals |
|---|---|---|
| Nemotron 3 Ultra | 56.33% | 84.3% |
| Nemotron 3.5 Super VL | 63.44% | 87.05% |
对于常驻智能体而言，效率决定了单次部署能完成多少工作。吞吐量、token 用量、工具调用次数以及达到正确结果所需的步骤，都会影响任务完成时间。
该模型还针对在 NVIDIA DGX Spark 上本地运行进行了优化。EXO Labs 的一项独立评估将 Nemotron 3.5 Super VL 置于准确率和任务完成时间的帕累托前沿。
Nemotron 3.5 Super VL 内部机制
该模型建立在强大的基础之上，采用混合架构、投机解码、上下文复用和混合精度，以减少重复智能体调用中的推理工作量。
构建强大的基础模型
Nemotron 3.5 Super VL 从 Nemotron 3 Ultra 蒸馏而来。Ultra 的编码能力，结合蒸馏过程中使用的 SkewReverse 损失，帮助提升了编码准确率。
在后训练期间，多教师同策略蒸馏（MOPD）整合了来自文本和视觉领域专业教师的指导。模型生成响应，教师则针对视频推理与跟踪、视觉工具使用和对齐进行评分。
在智能体动作、代码仓库和软件工程任务示例上的额外训练，提升了模型在智能体任务上的表现。在多种评估设置下，Nemotron 3.5 Super VL 在 SWE-bench 和 Terminal-Bench 上均优于 Nemotron 3 Super。
使用高质量自然和合成数据进行的持续预训练提升了印度语言能力，并促成了后训练后整体得分的提高。这一阶段新增了 10B 印度语言 token，取自 Nemotron-pretraining-Indic-v1 的 12 种语言子集以及自然印度语言文本。
NVIDIA 正在发布完整数据集，其中包含约 2.8T token，覆盖 22 种印度语言，并与 IIT Madras 及其 AI4Bharat 实验室合作开发。以下结果基于后训练后的 Nemotron 3.5 Super VL。
开发者可以使用 NeMo 在此基础上进行构建，并针对自己的应用定制 Nemotron 3.5 Super VL，将其推理和智能体能力适配到自己的数据、工具和工作流中。
LiLiCorr：一种开放的投机解码技术
LiLiCorr 通过联合评估整个草稿中的 token 候选，改进了并行投机解码，捕捉了独立 token 预测所遗漏的依赖关系。一个轻量级网络在单次前向中计算兼容性分数，从而生成更连贯的草稿，仅留下一个低成本的顺序最终选择步骤。
在 DGX Spark 上，LiLiCorr 是搭配 Nemotron 3.5 Super VL 进行低延迟推理的推荐 drafter。相比不使用推测的解码，它的 token 生成速度最高可提升 2.3 倍。
NVFP4 与混合精度
该模型使用 NVIDIA Model Optimizer 进行训练后量化和量化感知蒸馏（QAD）。NVFP4 方案在 NVIDIA Blackwell 架构上使用 4 位权重和激活。同一检查点也可在非 Blackwell 平台上以 4 位权重和 16 位激活运行。敏感组件单独选择精度。
NVFP4 使模型更小，而 QAD 帮助其在较低精度下保持准确率。在 QAD 过程中，量化模型学习匹配原始 BF16 模型的输出，从而弥合量化带来的准确率差距。QAD 还支持将键值（KV）缓存以 NVFP4 而非 FP8 存储，同时仍满足准确率目标。由于 QAD 在训练期间进行，因此不会增加推理开销。
多 token 预测
多 token 预测（MTP）为 Nemotron 3.5 Super VL 提供了一个内部 drafter，它提出多个 token 供主模型在一次前向传播中验证。一次接受多个 token 可减少生成响应所需的计算密集型验证步骤数量。
专门的 MTP 增强训练阶段进一步使 drafter 与最终模型对齐。
跨 agent 轮次的上下文复用
Agent 会反复将系统指令、工具定义和对话历史传回模型。前缀缓存可复用这些共享输入的计算。
该模型的服务优化同时保留注意力缓存和 Mamba 循环状态。额外的 Mamba 检查点减少了为推测解码恢复输入所需的回放，而内部检查点机制避免了提示处理期间的额外模型前向传播。
使用 NVIDIA NIM 和 NVIDIA Dynamo 简化生产部署
NVIDIA NIM 将模型与优化的推理引擎、经过验证的配置以及标准 API 打包在一起，用于云和数据中心部署。NIM 会持续获得安全、功能和性能更新。企业支持可通过 NVIDIA AI Enterprise 获得。从 NIM 开始。
NVIDIA Dynamo 支持分布式推理优化，以提高吞吐量并降低延迟，包括 KV 缓存感知路由、KV 缓存管理和分离式服务。
在 16 块 NVIDIA B200 GPU 上，以每用户每秒 50 token 的速率，结合会话亲和性的 KV 感知路由和 KV 缓存卸载可服务多达 8 倍的用户，同时将首 token 延迟降低 85%。从 Dynamo 部署配方开始。
开始使用 Nemotron 3.5 Super VL
构建具备多模态推理和工具使用的专用 agent。针对专门的工作流自定义模型，然后将其部署到受支持的环境中。
该版本包含基础、训练后和 NVFP4 量化检查点，以及训练配方、数据和强化学习环境。
有关模型详细信息，请参阅 Nemotron 3.5 技术报告；有关部署说明，请参阅 Hugging Face 或 ModelScope。如需托管模型访问，请参阅 OpenRouter。
合作伙伴生态系统
合作伙伴支持针对特定领域工作流对 Nemotron 3.5 Super VL 进行自定义和部署。
查看合作伙伴：
后训练
- AfterQuery
- AgileRL
- AI21
- Applied Compute
- Baseten
- Bespoke Labs
- Databricks
- distil labs
- Fastino Labs
- Fireworks AI
- Handshake
- Mercor
- Mindbeam
- ms-swift
- Multiverse Computing
- Prime Intellect
- Reasonable
- River AI
- Scale AI
- Thinking Machines Lab (Tinker)
- TNG
- Trajectory
推理软件
- Actual Computer
- Canonical
- Exo
- LM Studio
- Ollama
- SGLang
- Unsloth
- vLLM
云平台
- Amazon SageMaker JumpStart
- Google Cloud Gemini Enterprise Agent Platform
- MSFT Foundry
- OCI Enterprise AI
全球系统集成商
- HCLTech
- Infosys
- Tata Consultancy Services
AI 原生企业
来源：NVIDIA Technical Blog：Agentic AI / Generative AI · developer.nvidia.com