据 Loco AI 博客援引英伟达公告报道,英伟达将推出面向本地 AI agent 的语言模型 Nemotron 3.5 Bolt 74B。按该博客列出的规格,模型总参数 740 亿,采用混合专家(MoE)架构,每个 token 激活约 90 亿参数;权重以量化感知训练做到 2 比特,内存占用约 24 GB。英伟达称,模型计划于 2026 年 10 月 15 日上线。同一轮安排里,免费开源工具 Personal AI Router(PAIR)于 10 月 14 日结束测试,个人计算平台 RTX Spark 则从 10 月 16 日起开售。
Loco AI 博客称,Nemotron 3.5 Bolt 74B 面向 agent 类应用:目标是能推理任务、调用工具并与软件交互的系统,而不是只做对话回复。主要用途被列为本地 AI agent 与自动化。
据英伟达称,模型可通过受支持的推理框架运行,其中包括 llama.cpp,并可接入 Hermes、OpenClaw 等 agent 平台。开发者还可以使用公开的权重、训练数据和训练配方进行定制与微调。博客在常见问题中写明,截至 10 月 14 日,模型尚未到英伟达宣布的发布日。
博客解释,常规稠密模型处理每个 token 时会用到大部分参数;MoE 则由路由机制选出一部分称为「专家」的专用组件来计算。因此,相对总参数规模相近的稠密模型,生成回复所需的计算可以明显减少。博客同时指出,激活参数更少并不等于推理时只需要放下约 90 亿参数:全部权重仍须存储,或在推理时可供访问。
关于内存,博客给出一个理论估算:按每个参数 2 比特计算,740 亿参数在计入额外开销之前约需 18.5 GB,这被用来说明为何内存目标可以落在约 24 GB。博客还写道,本地模型更常见的是更高精度或 4 比特量化,2 比特会把权重压得更紧,难点在于压缩之后仍保留可用的推理与语言能力。英伟达表示,使用量化感知训练来保持模型质量。博客称,这一做法在不同任务上的表现如何,仍需独立评测才能确定;实际内存还取决于模型文件、推理实现和运行时开销。
据 Loco AI 博客报道,Personal AI Router(简称 PAIR)是英伟达免费、开源的工具,用来连接兼容电脑,并把 AI 推理负载分到局域网上的多台机器。软件于 2026 年 10 月 14 日正式结束测试。
据英伟达称,PAIR 可以自动发现兼容设备、连接系统、安装模型与推理引擎,并把负载分配到可用电脑上。新版加入 llama.cpp 支持、从 Hugging Face 直接下载模型、可自定义的推理设置,并兼容 RTX Spark。PAIR 支持 Windows、Linux 和 macOS。
博客区分了两种做法:把彼此独立的请求分到多台电脑,并不等于把同一个模型拆开、分到多台机器上跑。实际效果取决于软件架构、网络带宽、负载类型和受支持的硬件。博客还写到,模型文件和依赖安装完成后,本地推理可以离线进行;下载模型,或使用远程集成与在线服务,仍然需要网络。
RTX Spark 是英伟达即将推出的个人计算平台,面向希望在本地运行 AI 模型与 agent 的开发者、创作者和用户。据英伟达描述,该平台最高提供 128 GB 统一内存和 1 petaflop 的 AI 算力,2026 年 10 月 16 日起开售。
博客称,Nemotron 3.5 Bolt 74B 被定位为可以利用这一硬件的模型之一,约 24 GB 的内存占用是为了让 740 亿参数模型落在平台可用内存之内。博客也写明,该模型并不必然只能在 RTX Spark 上运行;在其他系统上是否好用,取决于兼容的推理软件、可用内存和硬件性能。