有这样一个模型它可以做到一句话生成视频

有这样一个模型，它可以做到一句话生成视频:

不仅零样本就能搞定，性能还直达 SOTA。

它的名字，叫NüWA。

女娲女娲，神通广大，正如其名，一句话生成视频只是这个模型的技能之一。

目前，在推特上已小有热度。

八项全能女娲，单拎出来也不差

所以这个全能型选手究竟表现如何。

直接与 SOTA 模型对比，来看看她在各项任务上的表现。

在文本生成图像中，不得不说，即使女娲的 FID—0 得分不及 XMC—GAN，但在实际效果中，女娲生成的图肉眼可见的更好，清晰又逼真。

在视频预测中，所有模型使用 64x64 的分辨率，Cond.代表供预测的帧数。

尽管只有 1 帧，女娲也将 FVD 得分从 94±2 降到 86.9。

草图转图像时，与 SOTA 模型相比，女娲生成的卡车都更逼真。

而在零样本的图像补全任务中，女娲拥有更丰富的想象力。

并且，它的另一个优势是推理速度，几乎 50 秒就可以生成一个图像，而 Paint By Word 在推理过程中需要额外的训练，大约需要 300 秒才能收敛。

直接上效果:

看，像上面这些仅用色块勾勒轮廓的视频草图，经女娲之手就能生成相应视频。

而输入一段潜水视频，女娲也能在文本指导下让潜水员浮出水面，继续下潜，甚至游到天上。

可以说，女娲不仅技能多，哪个单项拿出来也完全不赖。

如何实现。

这样一个无论操作对象是图像还是视频，无论是合成新的，还是在已有素材上改造都能做到做好的女娲，是如何被打造出来的呢。

其实不难，把文字，图像，视频分别看做一维，二维，三维数据，分别对应 3 个以它们为输入的编码器。

另外预训练好一个处理图像与视频数据的 3D 解码器。

两者配合就获得了以上各种能力。

而编码解码器都是基于一个 3D Nearby 的自注意力机制建立的，该机制可以同时考虑空间和时间轴的上局部特性，定义如下:

W 表示可学习的权重，X 和 C 分别代表文本，图像，视频数据的 3D 表示:

其中，h 和 w 表示空间轴上的 token 数，s 表时间轴上的 token 数，d 表示每个 token 的维数。

如果 C=X，3DNA 表示对目标 X 的自注意，如果 C≠X，3DNA 表示对在条件 C 下目标 X 的交叉注意。

该机制不仅可以降低模型的计算复杂度，还能提高生成结果的质量。

此外，模型还使用 VQ—GAN 替代 VQ—VAE 进行视觉 tokenization，这也让生成效果好上加好。

团队介绍

一作 Chenfei Wu，北京邮电大学博士毕业，现工作于微软亚研院共同一作 Jian Liang，来自北京大学