Nvidia 开源 Nemotron 3.5 Super VL：120B MoE 多模态模型专为持续运行企业智能体设计

Nvidia 发布了 Nemotron 3.5 Super VL，这是一款拥有 1200 亿参数的开源多模态模型，专为企业级智能体打造。与此同时，两款旨在将 AI 智能体引入本地 PC 和边缘设备的紧凑型 Bolt 模型也同步推出。

Nvidia 开发 Nemotron 3.5 Super VL 是为了服务于在后台持续运行的专用智能体，这些智能体能够处理文本、图像、文档和视频。

正如该公司在技术博客文章中解释的那样，该模型采用了混合专家（Mixture-of-Experts, MoE）架构，每个 token 仅激活 1200 亿参数中的 120 亿个。Nvidia 与 Nemotron 联盟共同开发了这一模型，该联盟成员包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs。

两款面向本地硬件的小型模型也同时发布。Nemotron 3.5 Bolt 74B-A9B（24GB）可在本地机器上运行智能体任务，而更小的 Bolt E4B（4GB）则针对快速语音助手进行了优化，将于本月晚些时候推出。Nvidia 声称，这两款模型均提供了“每 GB 内存最高的智能水平”。

Super VL 和 Bolt 加入了现有的 Nemotron 产品线。8 月发布的 Lightning专为高吞吐量设计，而 Ultra 则致力于解决复杂的推理任务。所有变体均针对 Nvidia 硬件进行了优化。

在 Artificial Analysis 的整体排名中，Super VL 大幅落后于领先的闭源模型，但超越了 Nvidia 自家的 Nemotron 3 Ultra。| 图片：Nvidia

Nvidia 宣称其最大模型以五分之一的尺寸实现了同等精度

Nvidia 从 Nemotron 3 Ultra（其最大的推理模型）中蒸馏出了 Super VL。在智能体执行指令、调用工具、处理多步业务流程或分析图像等任务中，Super VL 旨在以仅约五分之一的参数量达到与 Ultra 相当的准确率。据 Nvidia 称，在 Hermes 和 LangChain 的智能体测试中，它的实际得分甚至高于 Ultra，并且在 SWE-bench 和 Terminal-Bench 编码基准测试中也超越了其前身 Nemotron 3 Super。

在编码基准测试中，Super VL 的准确率略低于竞争对手，但 Nvidia 表示其完成任务的速度快四倍。| 图片：Nvidia

据 Nvidia 引用 Artificial Analysis 排行榜的数据称，在单个 GPU 上，Super VL 在智能体任务中的吞吐量最高可达其他同等规模开源模型的五倍。EXO Labs 在 DGX Spark 上进行的一项独立测试显示，没有其他模型能同时具备更高的准确率和更快的速度。当智能体需要在数天或数周内处理大量任务时，这种速度优势尤为显著。

据 Nvidia 称，在具有相当 Intelligence Index 分数的情况下，Super VL 每秒生成的 token 数量比同类其他开源模型多出五倍。| 图片：Nvidia

与封闭的前沿模型相比，Nvidia 向那些希望使用自有数据进行微调并在自有服务器上运行模型、从而不受服务商服务条款限制的企业推介 Super VL。Nvidia 表示，这可能吸引需要持续筛查理赔欺诈的保险公司，或依据自身标准评估信用资质的金融服务公司。为了实现定制化，该公司提供了其 NeMo 框架、Python 流水线以及开放数据集。

在 DGX Spark 上，没有其他受测模型能同时比 Super VL 更准确且更快。| 图片：Nvidia

压缩与缓存降低计算开销

Nvidia 采用其 4-bit NVFP4 格式对 Super VL 进行压缩。在 Blackwell GPU 上，该模型完全以 4-bit 精度运行；而在较旧的显卡上，仅权重存储为 4-bit，数学运算则处理为 16-bit。模型中敏感的部分保持更高精度。为防止质量损失，Nvidia 训练了压缩版本，使其输出与非压缩原始模型相匹配。

据 Nvidia 称，借助其推理软件 Dynamo，Super VL 可服务的用户数量增加了八倍，同时将首词元延迟（time to first token）降低了 85%。| 图片：Nvidia

内置的草稿组件会提前提议多个词元，随后主模型通过单次前向传播对其进行验证。在 DGX Spark 上，Nvidia 推荐改用其自研的 LiLiCorr 方法，该方法对所有草稿词元进行整体评估，以生成更连贯的输出。Nvidia 表示，与不使用推测性草稿相比，这种方法可将文本生成速度提升高达 2.3 倍。

智能体在每次请求时都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复部分的计算结果，而不是每次都重新运行。Nvidia 的推理软件 Dynamo 还会将同一会话的请求路由到已持有该会话缓存的 GPU 上。在 16 块 B200 GPU 上，这使得 Super VL 能够支持八倍数量的并发用户，且首字生成时间（time to first token）降低了 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉处理方面，Nvidia 专注于智能体在日常工作中遇到的材料类型，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档中的其他表格关联起来，并在不需要单独图像模型的情况下对两者进行总结。

根据 Nvidia 的数据，在图表基准测试 CharXiv 上，Super VL 得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 得分为 63%。当模型还能运行 Python 代码时，得分提升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它位列最佳开源模型之列。

本地智能体仍然需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版本，构建为混合专家模型（Mixture-of-Experts），其中每步仅激活 740 亿参数中的 90 亿个。为了将其压缩至 24 GB 内存中，Nvidia 对权重应用了激进的 2-bit 量化。

Bolt 能够处理日常本地任务，例如智能体需要进行多步骤操作、调用工具或搜索网络的情况。据 Nvidia 介绍，用户可以让它编写和调试代码，或者确定哪些 PC 组件适合其系统。

该模型针对 Nvidia 的 RTX Spark（一款面向具备 AI 能力的 Windows 笔记本电脑的新芯片） 以及 DGX Spark（一款拥有高达 128 GB 共享内存的紧凑型 AI 工作站） 进行了优化。它还可以运行在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即便经过重度压缩，24 GB 仍是一个很高的门槛。只有昂贵的高端硬件才提供如此大的内存容量，而以目前的 GPU 价格来看，大多数消费者难以承担这一成本。目前，本地智能体主要面向开发者以及拥有高性能工作站的群体。

针对性能较弱的设备，Nvidia 计划推出 Bolt E4B 4GB 版本，尽管该版本尚未发布。它旨在运行于 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark 上，为语音助手、交互式角色或设备界面提供支持。该模型应能在多轮对话中自然地使用工具，并保持对当前应用状态的感知。

早期采用者涵盖金融和网络安全领域

Nvidia 表示，数十家组织已经在根据自身需求对 Super VL 进行微调，主要集中在文档负载重且数据敏感的行业中。Scale AI 将该模型适配为一个处理媒体公司 Skydance 供应商信用的智能体，预计成本将降至原来的四十分之一，响应时间缩短至五分之一。Ramp 利用该模型将收据照片转换为结构化数据，并预期响应速度提升十倍。EY 将其用于收购尽职调查，Hebbia 则用于分析信贷协议。

在 24 GB 以下的模型中，据 Nvidia 称，Nemotron Bolt 提供了速度与任务质量的最佳组合。| 图片：Nvidia

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，该公司利用其分析威胁和漏洞，据 Nvidia 称，准确率提高了 40%。Dream 使用该模型寻找漏洞，CrowdStrike 正在构建用于保护企业网络的智能体。Salesforce 计划自动化政府工作流程，R1 正在审计医疗账单，Perplexity、Dassault Systèmes 和 Mercor 也在使用该模型。

Nvidia 发布数据集和训练配方

Nvidia 正在发布基础版本、后训练版本和 4-bit 压缩版本的模型权重，以及数据集和训练配方和强化学习环境。这使得 Super VL 比许多仅共享权重的开放权重模型更加开放。

Nvidia 表示，该模型在预训练和继续预训练阶段使用了超过 25 万亿个 token，而后训练和强化学习阶段则在约 100 个开放训练环境中增加了大约 400 万个样本。

在 Hugging Face 上，Nvidia 还发布了多个数据集，供其他开发者用于训练或微调自己的模型。这些数据集涵盖了智能体如何使用工具、遵循指令、处理长文本以及理解图像等内容，此外还有涉及金融、安全性和公平性的数据集。

其中一个数据集专门针对印度使用的语言。Nvidia 与印度理工学院马德拉斯分校及其 AI 实验室 AI4Bharat 合作构建了该数据集，包含 22 种印度语言的约 2.83 万亿个文本 token。

使用印度语数据集微调后，Super VL 在印度语言基准测试中击败了 Sarvam-105B 等更大的专用模型。| 图片：Nvidia

开放模型推动 Nvidia 硬件销售

Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可部署于边缘设备中的 Jetson 模块，以及数据中心和云端。通过 Nvidia NIM，企业可以获得经过验证的配置和支持的即用型微服务，并计划每两周更新一次。权重已在 Hugging Face 上提供，包括 Nemotron 3.5 Super VL 120B-A12B 和 Nemotron 3.5 Bolt 74B-A9B 24GB。

Nvidia 以开放方式发布模型，但针对其自有产品（从数据中心服务器到工作站）进行了调优。任何希望充分发挥 Nemotron 性能的用户，最终都需要购买 Nvidia 硬件。

Nvidia 开源模型背后的战略本质上是利己的。企业运行自有开源模型的越多，对算力硬件的需求就越大，而在可预见的未来，开源模型很可能仍将针对 Nvidia 进行优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在自研芯片，并转而针对这些芯片优化其模型。为了进一步推广 AI 开源模型，Nvidia 近期向 Hugging Face 投资了 129 亿美元，Hugging Face 是用于开发和共享开源模型的最重要平台之一。