腾讯发布并开源视频世界生成模型 Hy-Nomas,支持通过文字指令和镜头控制进行自由形式的多轮交互。据官方模型页介绍,它以视频片段为单位持续生成内容,用户可以在后续生成中加入物体、改变风格和场景、描述动作,或调整观察视角。此次发布还提供了单张 NVIDIA GeForce RTX 4090 的视频推理配置,以及配套评测集 Hy-Nomas-Bench。
据官方介绍,Hy-Nomas 由分段自回归扩散 Transformer(DiT)、Qwen 文本编码器、相机条件模块和 PixelUMM 视频解码器组成。模型通过持久化 KV 缓存在片段之间传递上下文,生成下一段时复用此前的历史信息。
其中,文本编码器使用 Qwen/Qwen2.5-VL-7B-Instruct 的语言模型部分。用户可以为不同片段提供不同提示词,改变接下来生成的内容;镜头轨迹则可以与文字一同输入,控制视角和移动。
官方给出的蒸馏版推理配置采用 8 步去噪,输出分辨率为 720 × 1280,播放帧率为 24 FPS。官方特别说明,24 FPS 指输出视频的播放帧率,生成速度取决于硬件、分辨率、片段长度、历史长度和所选配置;架构参数与采样默认值属于配置细节,并非基准测试结果。
据官方配置说明,标准方案采用 8 路序列并行,默认启动需要 8 张 GPU。单张 RTX 4090 方案则使用 INT8 DiT 权重、INT8 KV 缓存、FP8 解码器和 CPU 卸载,在不同处理阶段将模型移入 GPU,完成后再移回 CPU。
单卡方案默认最多选取 18 个历史潜在帧参与 GPU 注意力计算,更早的历史存档保留在 CPU 端。这个预算针对历史上下文,不代表当前生成片段的长度限制,也不限定当前片段的显存占用。
官方提醒,完整历史推理会随着生成持续占用更多缓存。单卡配置虽然限制了 GPU 上的活动历史,CPU 端存档仍可能增长,系统内存需要容纳卸载的模型和历史数据,CPU 与 GPU 之间的数据传输也会增加延迟。
腾讯同时发布 Hy-Nomas-Bench。据官方介绍,该评测集包含 4 个子基准、共 280 个测试用例,覆盖多轮自由文本交互、镜头导航、文本与镜头交错控制,以及空间记忆,用于评估持续世界生成过程中的交互可控性与一致性。
Hy-Nomas 采用 Apache-2.0 许可,第三方模型和组件仍受各自许可约束。