共计 1490 个字符，预计需要花费 4 分钟才能阅读完成。
明天分享一个「多模态」算法 NÜWA（女娲）。
论文的结尾，就放出了成果，NÜWA 包揽了 8 项经典的视觉生成工作的 SOTA。
论文示意，NÜWA 更是在文本到图像生成中“完虐”OpenAI DALL-E。
碾压各种比照的算法成果，杀疯了！
NÜWA 成果
咱们先看下 NÜWA 这算法在 8 项经典的视觉生成工作中的体现。
Text-To-Image(T2I)
文字转图片工作，其实就是依据一段文字描述，生成对应形容的图片。
比方：
A dog with gogglesstaring at the camera.一只戴着护目镜，盯着摄像机的狗。
还有更多成果：
NÜWA 生成的成果看起来就没那么违和，从论文的成果看，很实在！
成果十分 Amazing。
Sketch-To-Image (S2I)
草图转图片工作，就是依据草图的布局，生成对应的图片。
比方：
在一张图片上，画个大抵轮廓，就能够主动“脑补”图片。
这成果真是开了眼了，实在成果真如论文这般的话，那的确很强。
这个算法，能够用在很多有意思的场景。
Image Completion (I2I)
图像补全，如果一副图片完好了，算法能够主动“脑补”出完好的局部。
好家伙，是不是又有一些大胆的想法了？
这个遮挡还算能够，还有更细碎的。
图片碎成这样，还能“脑补”出画面，我很期待代码。
Image Manipulation (TI2I)
图片解决，依据文字描述，解决图片。
比方：
有一副草原的图片，而后减少一段形容：
a horse is running on the grassland一匹马奔跑在草原上，而后就能够生成对应的图片。
这惊人的理解力。
这让我想起来了 P 图吧大神，恶搞的作品。
有了这个算法，咱也能够试一试了，哈哈。
Video
这还不算完，除了上述的生成图片的 四种 成果，NÜWA 还能够生成视频！
对应的四种视频生成工作：
- Text-To-Video (T2V)
- Sketch-To-Video (S2V)
- Sketch-To-Video (S2V)
- Video Manipulation (TV2V)
既能够玩图片又能够玩视频。
NÜWA 原理
NÜWA 模型的整体架构蕴含一个反对多种条件的 adaptive 编码器和一个预训练的解码器，可能同时使图像和视频的信息。
对于图像补全、视频预测、图像处理和视频解决工作，将输出的局部图像或视频间接送入解码器即可。
而编码解码器都是基于一个 3D Nearby 的自注意力机制（3DNA）建设的，该机制能够同时思考空间和时间轴的上部分个性，定义如下：
W 示意可学习的权重，X 和 C 别离代表文本、图像、视频数据的 3D 示意。
3DNA 思考了残缺的邻近信息，并为每个 token 动静生成三维邻近留神块。注意力矩阵还显示出 3DNA 的关注局部（蓝色）比三维块稠密注意力和三维轴稠密注意力更平滑。
更多细节，能够间接看论文：
论文地址：
https://arxiv.org/abs/2111.12417
NÜWA 代码
NÜWA 的代码还没有开源，不过 Github 曾经建设。
Github:
https://github.com/microsoft/…
作者示意，很快就会开源：
公司有开源审批流程，代码也得梳理下，所以能够先 Star 上标记下，急躁等等。
微软亚研院和北大 联结打造的一个多模态预训练模型 NÜWA，在首届微软峰会上亮相过。
这种应该不会鸽的~
总结
往年算是多模态 Transformer 大力发展的一年，从各种顶会的论文就能看出，各种多模态。
起源：Jack Cui
开源前哨日常分享热门、乏味和实用的开源我的项目。参加保护 10 万 + Star 的开源技术资源库，包含：Python、Java、C/C++、Go、JS、CSS、Node.js、PHP、.NET 等。
