在本文中，介绍了应用人脸设计或草图来制作人脸照片的想法。该技术的利用包含角色设计、教育培训、面部变形和嫌疑人画像等。
有趣味的能够先看看视频介绍：
要解决的问题
这篇文章的想法是设计一个应用程序来应用该面部草图来绘制一张实在的面部图像，该应用程序在警察、电影拍摄和面部彩绘中具备各种利用。这个想法的次要规范之一是它简单明了，十分易于应用，即便你不是一个好的画家，你也能够应用这个应用程序创立实在的脸孔。
过来有解决这个问题的办法，在某些状况下应用了深度学习，但大多数时候他们以固定的绘图作为输出，并试图通过增加细节使其更残缺，并生成实在的脸孔。
从左至右：实在图像——HED——APDrawingGAN
从左至右：Canny Edges — Photoshop 中的影印滤镜 — PS 中影印滤镜的简化
问题是如何解决的？（架构和思维）
数据集
应用 CelebAMask-HQ 数据集的人脸图像创立了一个新的数据集，并用于训练（Train）和测试模型。
在这个数据库中只收集了面对面的图像，没有任何其余增加，例如眼镜、口罩等。
边缘检测过程采纳了整体嵌套的边缘检测办法，下一步应用 Photoshop 中的 Photocopy Filter 来进步设计的品质，打消图像噪声。该数据库包含 17,000 对实在图像及其设计，其中男性图像 6,247 对，女性图像 11,456 对。然而，这个数据集不是很大，须要新的数据来改良算法。在这个想法中，训练集与测试集的比例是 1 比 20。
架构
该零碎的网络结构包含三个次要模块: 组件嵌入 (CE)、特色映射(FM) 和图像合成(IS)。
- CE(组件嵌入)模块是一个主动编码器，它具备定义面部的 5 个特色或次要组件，即左眼、右眼、鼻子和嘴。(嘴)通过其余组件进行学习。
- FM (Feature Mapping)和 IS (Image Synthesis)模块一起造成了一个深度学习子网，用来搁置和组合面部组件，以创立一个实在的脸。其中 FM 是 CE 模块中编码的特色解码器，它将特征向量转换为 32 通道的特色图，而不是 1 通道的原型，这样进步了模型的性能。
这个模型应用了 shadow-guided 的思维，这是用来帮忙那些不太精通绘画和绘画的人。在背景中就会有一个脸部设计的含糊图像，用户能够应用它来使设计更加残缺，画出一个细节更多的更好的设计。
该网络的输出为 512 × 512。在第一阶段，这些图像进入第一个子网或 CE，别离学习与每个人脸重量相干的每个编码器，在第二阶段，每个人脸重量依据类似度在其特定的类中应用 K 近邻算法，并被搁置到图中。在 FM 的下一步中，每个组件被插入到它的解码器和实在的组件中进行制作。而后将新组件组合在一起以创立一个真正的新面孔。这一步在 SI 中应用条件 GAN 体系结构技术执行，这样能够保障所有的面组件都在它们的原始地位。
样例如下：
其余特色
在该模型中，能够扭转对人脸每个特色的留神量和准确性，能够调整每个特色的拟真水平，例如鼻子比拟像而嘴不太像。还有一种性能就是能够独自设计每只眼睛，保障眼睛可能不肯定是雷同的。
比照
总结
在这个想法中，咱们尝试绘制一张脸，并将其次要成分（例如左右眼睛、鼻子、嘴巴）和其余成分离开，并教一个深度学习网络在实在图像中找到它们的等价物，并将它们转化为实在的样子。这个方向有很多挑战，DeepFaceDrawing 试图用新的想法和以前的常识来解决，然而这个想法依然存在问题，咱们心愿在下一个版本中失去解决，这个应用程序的品质和准确性会进步。
官网，论文和 DEMO 代码都在这里：
https://www.overfit.cn/post/cf48c77252ad43928cea5c581b90a88e
作者：Ehsan Mrh