跳转到主内容
数工科技DIGIT·CN
模型与软件英伟达

英伟达发布 Nemotron 3.5 Bolt 74B

英伟达于 2026 年 10 月 15 日发布 Nemotron 3.5 Bolt 74B-A9B 24GB,以 2 bit 量化把总参 74B、激活 9B 的模型压到约 24GB。官方称它用于本地智能体的日常任务。

英伟达发布 Nemotron 3.5 Bolt 74B
总参数
74B
激活参数
9B
IQ2 打包体积
24GB
上下文上限
256K

英伟达在 2026 年 10 月 15 日把 Nemotron 3.5 Bolt 74B-A9B 的 24GB 版本放到 Hugging Face。模型卡标出总参数 74B、激活参数 9B,精度是带量化感知训练的 IQ2,打包体积约 24GB。

模型卡给出的结构,是 Mamba-2 与 Transformer 混合的 LatentMoE,视觉编码器为 C-RADIO v4-H。上下文最长 256K token。提示、视觉输入、对话历史、工具结果和生成文本共用这个窗口,单套配方可以再缩短。

PinchBench(模型卡表格)分
  • Bolt 74B87.82
  • Qwen3.6 35B88.07

数据来源:Hugging Face 模型卡,厂商自测

输入是文本、图像和视频,输出是文本。许可为 OpenMDW-1.1。它由 Nemotron 3.5 Super VL 120B-A12B 压缩而来。

模型卡把用途放在本地智能体的日常任务上,包括工具调用、网页浏览和终端操作。英语与编程语言被列为主要语言,西班牙语、法语、德语、意大利语和日语也在列表中。输入说明另列了中文。vLLM 示例覆盖 A100、80GB 显存的 H100 以及 Blackwell。

同日博客补上 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM,并把目标机器放在 RTX 与 DGX Spark 一类本地英伟达系统。同日还发布了总参 120B 的 Super VL。约 4GB 的 Bolt E4B 要到 10 月 23 日才提供,15 日还不能下载。

博客称,在同类开放模型里,PinchBench 排第一,BrowseComp 排第二。模型卡表格属于厂商自测:Bolt 的 PinchBench 为 87.82,同表 Qwen3.6-35B-A3B 的 BF16 为 88.07。BrowseComp 一栏里 Bolt 为 66.75。这些数字都来自英伟达,不是独立复测。

约 24GB 绑在英伟达这套 2 bit 量化和它自己的运行时上,不能当成别家加速卡的显存预算。模型卡的 vLLM 例子停在 A100、H100 与 Blackwell,没有给出国产卡的并行切分。要在国产加速卡上跑同类本地智能体,还得单独核对显存、算子和上下文能不能装下。

TAGS#英伟达#Nemotron#开放权重#智能体