首页 > 教程资讯 > 教程详情

苹果发布 FastFrames 视频生成模型:两步扩散生成 480p 视频

AI 与前沿 极客小林 2026-11-19
文章分享

苹果在 Hugging Face 发布 FastFrames-S 和 FastFrames-L 两款视频生成模型,参数量分别为 13 亿和 140 亿。据官方模型页介绍,两者均为自回归的两步视频扩散模型,可在交互级延迟下生成 480p 视频。此次发布的重点是生成延迟:发布方给出的 FastFrames-S 单 GPU 示例总延迟为 35.4 毫秒,并同步提供了支持镜头条件控制的优化版 LingBot。

两款模型采用不同训练路径

这项工作对应论文《FastFrames: Video Generation at Interactive Latency》,编号为 arXiv:2611.23226。官方仓库提供了该论文的实现。

据模型页说明,FastFrames-S 保持 Causal Forcing++ 的两步逐帧生成器冻结,只训练其周围的网络。FastFrames-L 则先按照 Causal Forcing++ 的方法,将 Wan2.1-14B 蒸馏为两步因果模型,再按 FastFrames-S 的方式训练像素解码器和 KV 修正网络。

苹果表示,FastFrames-L 训练过程中的全部检查点均已公开,包括基于 Wan2.1-14B 所生成潜变量训练的因果教师模型、一致性蒸馏模型、DMD 蒸馏模型,以及最终生成器、像素解码器和 KV 修正网络。

单 GPU 延迟示例为 35.4 毫秒

发布方自测给出的 FastFrames-S 示例条件为单 GPU、480p 分辨率和满 KV 缓存。其中,两次 DiT 评估分别耗时 16.1 毫秒和 16.2 毫秒,KV 修正耗时 2.2 毫秒,像素解码器耗时 0.9 毫秒,总计 35.4 毫秒;模型页同时注明,论文中的数值为 36 毫秒。

FastFrames-L 的延迟基准命令则使用 8 块 GPU。两款模型的测试配置需要分别看待,页面中的 35.4 毫秒对应的是 FastFrames-S 示例。

此外,苹果还发布了优化版 LingBot 1.3B。发布方称,其速度为官方模型的 16 倍,支持流畅的镜头条件控制。页面提供了交互演示入口,以及分别使用 1 块和 8 块 GPU 的启动命令。

运行环境与许可

官方列出的运行环境为 Linux x86-64、NVIDIA 显卡,以及兼容 CUDA 12.8 的驱动。文本生成视频示例输出分辨率为 832 × 480,共 81 帧,帧率为每秒 16 帧;命令支持切换至 FastFrames-L。

许可方面,LingBot-World v2 的代码和权重沿用上游 CC BY-NC-SA 4.0 许可,其余 FastFrames 代码采用 Apple Sample Code License。

来源