英伟达推出 Nemotron 3 Nano Omni 模型

东苑

当地时间 4 月 28 日，英伟达宣布推出名为 Nemotron 3 Nano Omni 的开源全模态推理模型，旨在为企业级 AI Agent 提供一体化基础模型底座。



据介绍，这是一款将视频、音频、图像和文本的统一多模态推理集成于单个高效开放模型中的产品。该模型旨在替代智能体系统中常见的碎片化视觉-语音-语言模型链，从而减少推理跳数与编排复杂度，降低推理成本，同时增强跨模态上下文一致性。

Nemotron 3 Nano Omni 可在智能体系统中充当多模态感知与上下文子 Agent，使智能体能够在单个共享的“感知-行动”循环中处理视觉、音频和文本输入，提升收敛速度，降低编排复杂度和推理成本。

在文档智能榜单（如 MMlongbench-Doc 和 OCRBenchV2）上，该模型取得了同类领先的准确率；同时在视频与音频理解基准（WorldSense、DailyOmni、VoiceBench）中也表现优异。

行业基准 MediaPerf（基于真实媒体数据和生成任务评估视频理解模型的性能、成本和吞吐量）显示，Nemotron 3 Nano Omni 在所有任务上实现了最高吞吐量，且视频级标注的推理成本最低。



▲ 在固定的用户交互阈值下，各模型所能维持的总系统吞吐量
该模型基于 30B‑A3B 混合专家（MoE）架构，可根据任务和模态进行激活，实现高吞吐量与可扩展的多模态性能。IT之家注意到，其模型权重、数据集和训练配方完全开放，开发者可在本地、云端或企业环境中定制、部署和集成多模态子 Agent。

英伟达表示，在固定交互延迟阈值下，Nemotron 3 Nano Omni 在视频推理任务中可持续提供更高的聚合吞吐量，相比其他开放式全模态模型有效系统容量最高提升约 9.2 倍；在多文档推理任务中，有效系统容量最高提升约 7.4 倍。在 Blackwell GPU 上采用 NVFP4 量化时，该模型在处理复杂文档、长时推理和大批量视频的企业级工作负载中，吞吐量在开放式全模态模型中居于领先。



架构设计方面，Nemotron 3 Nano Omni 核心为混合 MoE，结合 Mamba 层（提升序列与内存效率）和 Transformer 层（实现精准推理），内存和计算效率最高可提升 4 倍。

liqiang2216

看看