NVIDIA 在 Cosmos Framework 中推出 Cosmos 3 Nano 仿真配方和示例检查点,覆盖多摄像头驾驶场景、机器人视觉生成与双臂交互仿真。开发者可以从已发布的检查点出发,生成摄像头视频和激光雷达观测,并适配自己的传感器、动作空间与数据。这些工作流分别面向离线合成数据生成和闭环策略评估。
据 NVIDIA 介绍,Cosmos3-Nano-Transfer-Auto 采用双向生成,一次对整个多视角片段去噪,用于离线合成数据生成。它支持每秒 30 帧的输入和输出视频,在 480p 或 720p 分辨率下最多生成 400 帧,更长序列可通过自回归分块生成。
模型接收提示词和世界场景地图(WSM)控制信号,后者描述车道、物体、道路标线等结构。开发者可以修改提示词,将白天驾驶场景变为雨夜,同时保留道路布局和车辆轨迹,用于不同天气、光照条件下的模型训练与评估。
NVIDIA 给出的参考运行使用 4 张 GPU,产出 7 路 720p 视频,每路为 297 帧、每秒 30 帧,并生成 99 次激光雷达扫描。对应示例输入包含 7 路同步 WSM 视频、逐摄像头文字描述、首帧 RGB 条件和高精地图激光雷达控制信号。
Cosmos3-Nano-Sim-Auto 则是上述模型的因果、少步蒸馏版本,支持自回归流式生成。驾驶策略或人工输入通过 WSM 渲染器更新场景,模型逐步生成摄像头和激光雷达观测,再将观测返回策略,形成闭环评估流程。
另外两个检查点承担不同任务。Cosmos3-Nano-Sim-Transfer 将深度视频和提示词转为 RGB 视频,在保留几何结构与运动的同时,改变光照、纹理和背景。用于机器人演示时,它改变第三人称视角画面,同时保留动作、状态和腕部摄像头记录。
Cosmos3-Nano-Sim-Bimanual 根据场景和机器人动作直接生成下一帧视觉观测,支持 YAM 和 AgiBot 双臂仿真,可由策略或人工操作的摇杆控制。
据发布方说明,这些检查点支持 PyTorch 和 vLLM-Omni,已在 NVIDIA Hopper 和 Blackwell GPU 上测试;具体 GPU 数量、显存配置和推理设置需按配方选择。
NVIDIA 同时介绍了两个手术仿真模型:Cosmos3-H-Embodied-Nano 支持由机器人动作生成手术视频、由视频预测动作,或联合生成两者;由其蒸馏而来的 Cosmos3-H-Dreams 面向实时闭环仿真,根据实时机器人运动学数据生成画面。
部署方面,Cosmos NIM 将支持的模型封装进优化容器,提供加速推理。NVIDIA 称,推测解码在 H200 上的发布方实测中带来约 2–3 倍平均加速;文中给出的容器镜像为 nvcr.io/nim/nvidia/cosmos3:2.0.0。