10 月 15 日,英伟达放出开源多模态模型 Nemotron 3.5 Super VL:1200 亿总参数、每个 token 只激活 120 亿,文本、图像、文档、视频都能读,官方宣称单 GPU 跑智能体任务时,吞吐最高可达同规模开源模型的 5 倍。这个 5 倍自带限定:同规模开源模型、单卡、智能体负载,且至今没有独立复测数据跟上。但比"5 倍成不成"更值得先弄清楚的,是这个数字怎么来的、指向什么——它不是又一个冲榜模型,而是给"始终在线的智能体"准备的执行层。英伟达开发者博客知乎
5 倍不是单点奇迹,是整条推理链路层层削出来的
底子来自架构。1200 亿参数只激活 120 亿,混合 Mamba-Transformer 的 MoE 设计压低了每次生成的计算量;模型本身从旗舰 Nemotron 3 Ultra 蒸馏而来,后训练阶段再由多位各有所长的教师模型给它的回答打分。英伟达开发者博客
推理侧的三刀才是 5 倍的主要来源。第一刀是投机解码:新方法 LiLiCorr 不再逐 token 独立评估草稿,而是把整份候选联合打分,DGX Spark 上 token 生成最高快 2.3 倍。英伟达开发者博客
第二刀是量化,但付账的地方在训练时。NVFP4 配方在 Blackwell 上直接跑 4-bit 权重加激活,配合"量化感知蒸馏"让 4-bit 模型去对齐 BF16 原版的输出,把精度损失在训练里补回来,推理端零额外开销;同一份 checkpoint 在老卡上自动退到 4-bit 权重、16-bit 激活。英伟达开发者博客
第三刀专门砍向智能体场景:每一轮都要重发系统提示、工具定义和历史对话,Super VL 连 Mamba 的循环状态一起缓存进前缀,共享前缀零重算。英伟达开发者博客
同一页里的企业数字则要带着口径看:Scale AI 为 Skydance 微调后做供应商信用处理,预计推理成本降 40 倍、延迟降 5 倍;Ramp 做收据图片转结构化 JSON,预计吞吐最多提升 50%;AI21 和 Alice 在威胁情报分析上把准确率提高了 41%。注意原文措辞是"将/预计"——这些是单一工作负载上的前瞻预期,不是模型的整体能力,更不是已兑现的实测。英伟达开发者博客
记分牌:速度面有第三方背书,能力面短板不藏着
官方给出的对比里,这款激活 120 亿的中型模型反超了自家上代旗舰:Hermes Bench 63.44% 对 56.33%,LangChain 评测 87.05% 对 84.3%。最接近第三方验证的是速度:Artificial Analysis 在 Baseten 端点上实测其智能体任务输出超过 600 token/s,与"5 倍"的方向一致。英伟达开发者博客知乎
EXO Labs 在 DGX Spark 上的独立评测,则把它放在了准确率与完成时间权衡的帕累托前沿上。另一面同样写在材料里:核对模型卡的整理显示,Super VL 在编码与浏览任务上落后 GLM-5.3-Flash、DeepSeek V4 Flash 等同类开源模型,长程工具链任务掉分明显。速度换执行,能力不求全胜——定位本身比跑分更清醒。英伟达开发者博客知乎
三个模型一起发,英伟达递的是流水线
当天放出的不止一个主角:激活 30 亿级的 Lightning 已经承担高频纯文本杂活,Super VL 负责多模态执行,规划交给旗舰 Ultra,一层层把"常开智能体"的成本拆开。英伟达开发者博客
开源的也不只是权重:基础模型、后训练与量化 checkpoint、训练配方、数据集和强化学习环境一并公开,Hugging Face、ModelScope 当天可下载,OpenRouter 提供托管入口,Perplexity 的中段训练数据集也喂了它一份。英伟达开发者博客
同批亮相的两款 Bolt 边缘模型把硬件意图说得更直白:74B 的 A9B 版本被压进 24GB 显存,瞄准 RTX Spark 这类本地笔记本。更小的 E4B 面向语音助手与 Jetson 嵌入式,定在 10 月 23 日放出。当各家在卷排行榜时,英伟达在交付"旗舰规划 + 廉价执行 + 路由调度"的整条流水线,每一环都默认跑在自家 GPU 上——开源不是让利,是把护城河从模型参数挪到推理栈和硬件形态。微博知乎
想跟进的人,接下来盯三个信号
跑长周期智能体、处理文档/票据/视频批量任务的用户,现在就能从 Hugging Face 或 ModelScope 拉到权重,用自有负载做一轮实测,这比任何榜单都直接。值得盯的节点有三个:第三方在标准负载下对"5 倍"的复测;RTX Spark 机器铺开后 24GB 版 Bolt 的实机表现;以及 10 月 23 日 E4B 落地后,边缘端是否真能接住"常开智能体"的成本叙事。在独立复测出现之前,把它当一条"速度优先的执行层"路线来看待,比当"新王"更稳妥。

登录