与Sora同架构,高效、连贯文生视频模型

Snap、特伦托大学、加州大学和布鲁诺凯斯勒基金会的研究人员,联合推出了高效、连贯一致性文生视频模型——Snap Video。

Snap Video与OpenAI最新推出的Sora一样采用Transformer架构,结合了时空压缩表示、全局联合时空建模以及自适应建模等功能,在生成的视频质量、视频动作一致性、复杂动作表现等方面非常棒。

除了文本生成视频之外,Snap Video还能根据文本提示对原始视频素材进行剪辑和合成,生成特殊需求的定制化视频,这对于短视频、影视行业帮助巨大。

为了评估Snap Video性能,研究人员在UCF101和MSR-VTT数据集上进行了综合测试。结果显示,在文本对齐、运动质量和动态效果可媲美Gen-2,明显优于Pika和Floor33。

论文地址:https://arxiv.org/abs/2402.14797



相关文章