摘要:本文主要讲述了生成对抗网络 GANs 的发展和主要应用。
在 GAN 发展的最初几年里,我们取得了令人瞩目的进展。当然,现在不会是像恐怖电影里那样有邮票大小的面部照片了。2017 年,Gan 制作了 1024×1024 张能愚弄人才童子军的照片。在未来几年,我们可能会看到 GAN 生成的高质量视频,由此衍生的商业应用程序即将来临。作为 GAN 系列的一部分,我们研究了一些很酷的应用程序,希望它们能作你的 GAN 应用程序的灵感来源。
创建动画角色
众所周知,游戏开发和动画制作成本很高,并且雇佣了许多制作艺术家来完成相对常规的任务。但通过 GAN 就可以自动生成动画角色并为其上色。
发生器和鉴别器由多层卷积层、批标准化和具有跳过链接的 relu 组成。
姿势引导人形像生成
通过姿势的附加输入,我们可以将图像转换为不同的姿势。例如,右上角图像是基础姿势,右下角是生成的图像。
下面的优化结果列是生成的图像。
该设计由二级图像发生器和鉴频器组成。生成器使用元数据(姿势)和原始图像重建图像。鉴别器使用原始图像作为 CGAN 设计标签输入的一部分。
CycleGAN
跨域名转让将很可能成为第一批商业应用。GANs 将图像从一个领域(如真实的风景)转换为另一个领域(莫奈绘画或梵高)。
例如,它可以在斑马和马之间转换图片。
Cyclegan 构建了两个网络 G 和 F 来构建从一个域到另一个域以及反向的图像。它使用鉴别器 d 来批评生成的图像有多好。例如,G 将真实图像转换为梵高风格的绘画,并且 DY 用于区分图像是真实的还是生成的。
域 A 到域 B:
我们在反向域 B 域 A 中重复该过程:
PixelDTGAN
根据名人图片推荐商品已经成为时尚博客和电子商务的热门话题。Pixeldtgan 的作用就是从图像中创建服装图像和样式。
超分辨率
从低分辨率创建超分辨率图像。这是 GAN 显示出非常令人印象深刻的结果,也是具有直接商业可能性的一个领域。
与许多 GAN 的设计类似,它是由多层卷积层、批标准化、高级 relu 和跳过连接组成。
GAN 的逐步发展
Progressive GAN 可能是第一个展示商业化图像质量的 GAN 之一。以下是由 GAN 创建的 1024×1024 名人形象。
它采用分而治之的策略,使训练更加可行。卷积层的一次又一次训练构建出 2 倍分辨率的图像。
在 9 个阶段中,生成 1024×1024 图像。
高分辨率图像合成
需要注意的是这并非图像分割,而是从语义图上生成图像。由于采集样本非常昂贵,我们采用生成的数据来补充培训数据集,以降低开发成本。在训练自动驾驶汽车时可以自动生成视频,而不是看到它们在附近巡航,这就为我们的生活带来了便捷。
网络设计:
文本到图像(StackGAN)
文本到图像是域转移 GAN 的早期应用之一。比如,我们输入一个句子就可以生成多个符合描述的图像。
文本到图像合成
另一个比较通用的实现:
人脸合成
不同姿态下的合成面:使用单个输入图像,我们可以在不同的视角下创建面。例如,我们可以使用它来转换更容易进行人脸识别图像。
图像修复
几十年前,修复图像一直是一个重要的课题。gan 就可以用于修复图像并用创建的“内容”填充缺失的部分。
学习联合分配
用面部字符 P(金发,女性,微笑,戴眼镜),P(棕色,男性,微笑,没有眼镜)等不同组合创建 GAN 是很不现实的。维数的诅咒使得 GAN 的数量呈指数增长。但我们可以学习单个数据分布并将它们组合以形成不同的分布,即不同的属性组合。
DiscoGAN
DiscoGAN 提供了匹配的风格:许多潜在的应用程序。DiscoGAN 在没有标签或配对的情况下学习跨域关系。例如,它成功地将样式(或图案)从一个域(手提包)传输到另一个域(鞋子)。
DiscoGAN 和 cyclegan 在网络设计中非常相似。
Pix2Pix
PIX2PIx 是一种图像到图像的翻译,在跨域 Gan 的论文中经常被引用。例如,它可以将卫星图像转换为地图(图片左下角)。
DTN
从图片中创建表情符号。
纹理合成
图像编辑 (IcGAN)
重建或编辑具有特定属性的图像。
人脸老化 (Age-cGAN)
神经照片编辑器
基于内容的图像编辑:例如,扩展发带。
细化图像
目标检测
这是用 gan 增强现有解决方案的一个应用程序。
图像融合
将图像混合在一起。
视频生成
创建新的视频序列。它识别出什么是背景,并为前台操作创建新的时间序列。
视频链接
生成三维对象
这是用 gan 创建三维对象时经常引用的一篇文章。
音乐的产生
GaN 可以应用于非图像领域,如作曲。
医疗(异常检测)
GAN 还可以扩展到其他行业,例如医学中的肿瘤检测。
进一步阅读
本文展示了一些 GAN 的相关应用程序。如果你感兴趣想进一步研究 GAN 可以继续阅读以下文章:
第一部分:重点介绍如何应用 gans 解决深层次学习问题,以及为什么培训 gans 如此困难。GAN- 关于 GAN 的综合考察(上)
第二部分:GAN 培训问题解决概述。GAN- 关于 GAN 的综合考察(下)
本系列中的所有文章:GaN-GaN 系列(从头到尾)
本文作者:【方向】阅读原文
本文为云栖社区原创内容,未经允许不得转载。