【飞桨开发者说】刘炫，就任于福建贞仕信息。Python开发工程师2年退职工程师。

最近一部电视剧《隐秘的角落》在网上引起了泛滥探讨，要说这是2020年全网热度最高的电视剧也不为过。而剧中反派Boss张东升也是网友探讨的话题之一，特地是他的秃头特点，曾经成为一个梗了。

看过这部剧后，我忽然很想晓得本人秃头是什么样子，于是查了一下飞桨官网，果然它有图片生成的模型库。那么，咱们如何应用PaddlePaddle做出一个秃头生成器呢。

**!
生成反抗网络介绍

说到图像生成，就必须说到GAN，它是一种非监督学习的形式，通过让两个神经网络互相博弈的办法进行学习，该办法由lan Goodfellow等人在2014年提出。生成反抗网络由一个生成网络和一个判断网络组成，生成网络从潜在的空间(latent space)中随机采样作为输出，其输入后果须要尽量模拟训练集中的实在样本。

判断网络的输出为实在样本或生成网络的输入，其目标是将生成网络的输入从实在样本中尽可能的分辨进去。而生成网络则尽可能的坑骗判断网络，两个网络互相反抗，一直调整参数。生成反抗网络罕用于生成以假乱真的图片。此外，该办法还被用于生成影片，三维物体模型等。

飞桨的模型库里用于人脸属性转换的模型次要有三种：

  • StarGAN多畛域属性迁徙

一般的GAN模型对每一对图像格调域都须要独立地建设一个模型，相比之下，StarGAN就是个多面手了，即单个 StarGAN 模型就能够实现多个不同格调域的转换，它容许在一个网络中同时应用不同格调域的多个数据集进行训练。这导致 StarGAN 的转化图像品质优于现有模型，并且能够灵便地转换输出图像到任何想要的格调畛域。

（a）为解决多个域，应该在每一对域都建设跨域模型。

（b）StarGAN用单个generator学习多域之间的映射。该图示意连贯多个域的拓扑图。

  • AttGAN利用分类损失和重构损失来保障扭转特定的属性

AttGAN算法是基于encoder-decoder构造的，依据所需属性对给定人脸的潜在表征进行解码，实现人脸属性的编辑。现有些办法试图建设一个独立于属性的潜在示意，来编辑属性。然而，这种对潜在表征的属性无关束缚过多，限度了潜在表征的能力，可能导致信息失落，从而导致生成过于平滑和扭曲。

AttGAN没有对潜在示意施加束缚，而是对生成的图像利用属性分类束缚(attribute classification constraint)，以保障所需属性的正确扭转，即“扭转你想要的”。同时，引入重构损失来保障只扭转特定的属性。还能够间接利用于属性强度管制，并且能够天然地扩大到属性款式操作。

  • STGAN只输出有变动的标签，引入GRU构造，更好的抉择变动的属性

STGAN是在AttGAN的根底上做的改良。STGAN中生成网络在编码器和解码器之间退出Selective Transfer Units(STU)，同时引入属性差别向量(只输出须要扭转的属性)，这样一来，网络变得更容易训练，相比于指标属性标签，属性差别标签能够提供更多有价值的信息，使属性生成精度显著晋升。

STGAN的网络结构

STGAN差不多是AttGAN的升级版，Paddle的StarGAN不蕴含秃头属性，所以咱们应用STGAN。STGAN成果预览如下所示：

STGAN的效果图

上图中每个头像图片对应的属性别离为：original image、Bald、Bangs、Black Hair、Blond Hair、Brown Hair、Bushy Eyebrows、Eyeglasses、Male、Mouth Slightly Open、Mustache、No Beard、Pale Skin、Young。

咱们看到了什么？Bald！对，这正是咱们想要的秃头属性！

AI Studio是百度飞桨提供的收费云算力平台，具备收费的GPU算力，notebook的UI格调，预装的PaddlePaddle，非常适合我这样的老手炼丹师去随便捣鼓。

上面咱们在AI Studio上来开启 “秃头”之旅吧……

试验过程

1. 筹备数据集

本我的项目采纳CelebA数据集，CelebA是CelebFaces Attribute的缩写，意即名人人脸属性数据集，其蕴含10177个名人身份的202599张人脸图片。对于CelebA数据集的具体介绍，请详见https://zhuanlan.zhihu.com/p/...。

# 解压数据集unzip data/data21325/imgAlignCeleba.zip -d dataset/cp data/data21325/*.txt -d dataset/

2. 获取模型

# 获取GAN模型# paddlepaddle/models的仓库里含有其反对的所有gan模型!git clone https://gitee.com/paddlepaddle/models.git -b release/1.8!cp -r models/PaddleCV/gan/* ./work/

3. 开始训练

# 训练%cd ~/dataset!python ../work/train.py --model_net STGAN \   # 指定stgan模型网络--data_dir ../dataset \                            # 数据集目录--dataset . \                                        # 数据集绝对地位--crop_size 170 \                                    --image_size 128 \--train_list ../dataset/attr_celeba.txt \        # 训练集地位--gan_mode wgan  \--batch_size 32 --print_freq 1 \--num_discriminator_time 5 \--epoch 50 \--dis_norm instance_norm \--output ~/output/stgan/

4. 开始推理

别着急！在“秃头”之前，咱们须要先筹备要输出的图片，我把他放在my_dataset里，批改dataset/test1.txt，把图片填进去，并且依据图片的特色输出特色 ：

%cd ~# 输出的参数能够看看infer_bald.py结尾的解释哦，次要须要留神的是# n_samples：它的个数决定了输入的后果图中含有几张图的后果，我设置为1，那么就会只有一张图的属性变换输入。# crop_size、image_size最好不要批改，通过我测试会影响成果，因而最好把图片管制在178的宽度!python ./work/infer_bald.py \--model_net STGAN \--init_model ./33/ \--dataset_dir my_dataset \--test_list dataset/test1.txt \--use_gru True \--output ./infer_result/stgan/ \--n_samples 1 \--selected_attrs "Bald,Bangs,Black_Hair,Blond_Hair,Brown_Hair,Bushy_Eyebrows,Eyeglasses,Male,Mouth_Slightly_Open,Mustache,No_Beard,Pale_Skin,Young" \--c_dim 13 \--crop_size 178 \--image_size 128 \--load_height 128 \--load_width 128 \--crop_height 128 \--crop_width 128 \

5. 秃头成果展现

演员秦昊(张东升饰演者)

就感觉很秃然的样子……

突变的秃头水平

成果论断

  • 因为stgan只用输出变动的属性，原infer会循环变动每个一个格调属性(Bald，Bangs等)，我把切换格调属性的循环，批改成了只输出秃头属性，而后循环逐步扭转变动水平，使其后果产生突变成果

  • 这里我发现男性中头发是短发的秃头化成果，显著比长发男性好，头发蓬松就会影响秃头成果，因为蓬松的头发遮蔽了脑袋的形态，也有可能是训练集短少这类男性图片的起因。第一张图是最天然的，看起来也最真，应该是寸头短发的因素。

  • 输出图片的大小靠近128x128，或者178x178，成果会比拟好，起因可能是训练集的大小都是128x128。官网这里也阐明：（http://https//www.paddlepaddl..._celeba&en_category=GANs）

    • 待处理图片尽量只露脸，当五官是朝向正前方且露出五官时，成果会比拟好。
    • 待处理图片的尺寸靠近 128 * 128 像素时，成果会比拟好。

应用PaddleHub

如果感觉下面的比拟繁琐，infer里的代码简单，那么有一条间接的捷径。Paddlehub外面曾经有STGAN的预训练模型能够间接应用预训练模型。

# 装置Paddlehub和stgan_celeba预训练模型!pip install paddlehub==1.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple!hub install stgan_celeba
import paddlehub as hubstgan = hub.Module(name="stgan_celeba")test_img_path = ["my_dataset/img_align_celeba/000003.jpg"]# org_info是一个只有一个元素的列表 如：["Bald,Bangs"]# org_info要尽可能具体的阐明输出图片的特色状况,否则会影响输入成果：# 必须填写性别（ "Male" 或 "Female"）可选值"Bald", "Bangs", "Black_Hair", #"Blond_Hair", "Brown_Hair", "Bushy_Eyebrows", "Eyeglasses", #"Mouth_Slightly_Open", "Mustache", "No_Beard", "Pale_Skin", "Aged"org_info = ["Male"]# 指定要变动的特色：秃头trans_attr = ["Bald"]# set input dictinput_dict = {"image": test_img_path, "style": trans_attr, "info": org_info}# execute predict and print the resultresults = stgan.generate(data=input_dict)print(results)

预训练模型和我本人训练的模型比照：

我本人的

预训练模型

能够看出预训练模型的秃头水平比拟固定，而我把秃头水平设置的比拟小，看起来可能更真切一点。

感激

最初感激飞桨平台，让我这个初学者就能做一些乏味的试验。

还有我对stylegan挺感兴趣的，心愿之后能够反对到哈。

如在应用过程中有问题，可退出飞桨官网QQ群进行交换：1108045677。

如果您想具体理解更多飞桨的相干内容，请参阅以下文档。

飞桨生成反抗网络我的项目地址：

GitHub: 

https://github.com/PaddlePadd...

Gitee:

https://gitee.com/paddlepaddl...

官网地址：

https://www.paddlepaddle.org.cn

飞桨开源框架我的项目地址：

GitHub:

https://github.com/PaddlePadd...

Gitee: 

https://gitee.com/paddlepaddl...

END