英伟达开源 Nemotron 3.5 Bolt:4GB 显存就能离线跑 AI,旧显卡电脑别急着卖
很多人对本地跑 AI 的印象还停留在”要几张顶配显卡、机房才玩得起”。英伟达 10 月 23 日发布的开源小模型 Nemotron 3.5 Bolt E4B 4GB,就是来纠正这个印象的:它专为本地运行设计,实测显存占用约 3.1GB 到 5GB,一台带 RTX 显卡的普通电脑就能跑,不联网、不要 API 费、数据不出你的电脑。
它到底是个什么水平的模型
先把参数摆出来,再讲人话:
- 体量:总参数 8B,有效激活 4B,基于谷歌 Gemma 4 E4B 做了英伟达的定向训练。
- 显存:英伟达在 RTX 5070、Jetson Orin Nano 等设备实测 3.1GB–5.0GB——”4GB”是典型场景的目标值,不是硬保证。
- 上下文:64K token,扔一本几万字的长文档进去问问题没问题。
- 强项:多轮工具调用(BFCL-v3 得分 68.5)、指令遵循、对话模式输出短句适合语音场景。官方称平均能力比上一代 Nano 4B 高约 40%。
- 授权:OpenMDW 1.1 + Apache 2.0,可商用。
要客观说一句:它是”小模型里的优等生”,不是全能选手。复杂推理、长文写作这些重活,还是云端大模型强。它的战场是——高频、轻量、要隐私的日常对话。