Phenaki

Phenaki是一种人工智能模型，可以直接从文本生成多分钟长的视频。您还可以从静止图像和提示生成视频。就时空质量和每个视频的令牌数量而言，拟议的视频编码器-解码器的性能优于文献中当前使用的所有每帧基线。为了从文本生成视频令牌，他们使用了以预先计算的文本令牌为条件的双向屏蔽转换器。生成的视频令牌随后被去代币化以创建实际视频。