VideoPoet:Google发布的用于视频生成的大语言模型

VideoPoet是什么?

VideoPoet是Google发布的基于大语言模型(LLM)来实现视频生成的模型,之前主流视频生成模型如Stable Video Diffusion和Video Diffusion都是采用扩散架构,但VideoPoet是基于大语言模型(LLM)来实现视频生成的,即采用LLM的自回归架构。VideoPoet的一个特色是它将许多视频生成能力无缝集成到一个LLM中。

下图展示了VideoPoet的能力,它可以实现文本生成视频,图像生成视频,视频风格化,视频的inpainting和outpainting以及视频转语音。

下图是VideoPoet生成的一些视频示例:

了解更多详情,请前往谷歌官方介绍

发表回复