共计 4883 个字符，预计需要花费 13 分钟才能阅读完成。
一、AI” 卷 ” 进实时互动
2021 年，元宇宙概念席卷寰球，国内各大厂减速赛道布局，通过元宇宙为不同的利用场景的相干内容生态进行赋能。针对“身份”、“沉迷感”、“低提早”、“随时随地”这四个元宇宙外围根底，ZEGO 即构科技基于互动智能的业务逻辑，提出并落地了 ZegoAvatar 解决方案，将 AI 视觉技术利用至虚构形象，实现了业务和技术的无缝连接。
图 1：Avatar 产品 AI 能力矩阵
ZegoAvatar 根底能力包含：面部表情随动、语音驱动表情、AI 人脸特色辨认（AI 捏脸）、拍照捏脸等，波及的 AI 技术点包含人脸检测、人脸跟踪、人脸关键点检测、头部姿势检测、3D 人脸重建、AI 特色辨认等。
上次咱们讲述了对于 ZegoAvatar 的面部表情随动技术解析，明天咱们将和大家一起再探讨下对于 ZegoAvatar 中的 AI 捏脸局部！
二、捏脸技术的倒退历程
首先来讲一下“捏脸”的概念，“捏脸”就是用零碎设定的元素组合成为虚构角色定制出个性化的形象，比方通过人脸、眉毛、眼睛、发型等元素的重新组合，搭配成一张头像作品。
1、对于捏脸的倒退过程
2005 年，国内呈现了首款能够进行捏脸的游戏《完满世界》。在游戏中你能够自定义角色形象，捏出你想要的造型。
当然，那个时候还叫“形象自定义零碎”，仅仅能够满足一些比拟简陋、简略的五官替换性能，尽管那时，多半的玩家也只是先抉择零碎库里的脸型，而后再抉择发型，之后再抉择五官模型，但这离奇的模式不仅给玩家带来了全新的游戏体验，也为起初游戏中“捏脸”零碎的蓬勃发展奠定了根底。
2013 年《剑灵》B&S 又将捏脸的玩法进行了遍及，它还有一个十分好的捏脸导入性能，你能够间接将他人的捏脸数据导入你创立的人物中，这意味着捏脸的老本非常低。
2018 年国内新推出的热门游戏《顺水寒》，提供了可调动面部几十个肌肉群、通过排列组合绽开出无数种可能性的捏脸零碎。
2、咱们为什么要“捏脸”？
对于咱们为什么要“捏脸”这个问题，咱们能够从审美规范、代入感和个性化三个方面来思考：
通过比照不同世代的审美规范，咱们能够发现这样一个法则：随着时代的不断进步，人的审美观、对美的要求都在一直地产生扭转。对于服饰、配色的谋求是如此，对于游戏品质的谋求亦是如此。
无论是游戏还是虚构社交，最重要的无疑是“代入感”，而对这一点感官最为直观的，那就是本人的玩家形象，因而一个弱小捏脸的游戏，给玩家的代入感是无可比拟的。
捏脸也是寄托个性化表白的载体之一。如果你想以高冷酷炫的外示意人，那你就给本人捏一个王道总裁脸；如果你心愿对外界出现温顺可人的一面，那你无妨把本人的虚构形象塑造得柔美端庄。
当下很多玩家的注意力曾经从在游戏里的“炫实力”转移到了“炫酷”、“炫特色”下面。无论关上哪款时下风行的网游，玩家花在打扮、丑化上的钱相对不会比晋升能力来得少。一张独具特色的虚构角色脸孔在虚拟世界中未然成为社交的第二张名片，而这也成为了与虚拟世界连贯的桥梁。
三、ZegoAvatar 捏脸成果展现
向大家展现一下 ZegoAvatar 的拍照捏脸成果：
图 2：捏脸成果
阐明：
1、试验数据起源均为外部收集和付费收集取得的，不波及用户隐衷；
2、当您在应用咱们产品 Avatar SDK 性能时，咱们须要本地解决您的面部特征值信息、声音特色信息，以实现捏脸、表情随动、声音驱动性能场景。您须要受权咱们应用摄像头、麦克风权限，敞开后仅影响对应性能，不影响利用其余性能。咱们仅会在您的本地设施中离线解决相干面部特征值信息、声音信息，不会上传、后盾存储或与第三方共享该种信息。
四、整体捏脸流程解析
在 ZegoAvatar 的技术计划中，拍照捏脸是通过送入一张人脸照片来得出该照片中人的性别、年龄、发型、脸型、眼睛大小、眉毛地位、眉毛长短、眉毛类型、是否戴眼镜等信息来给出一个与该头像最为符合的虚构形象。
与传统的捏脸形式不同，ZegoAvatar 拍照捏脸采纳了 AI 技术，可实现主动生成本人的虚构形象，让每个人的虚构形象不再千篇一律。上面咱们将向大家具体解读 ZegoAvatar 捏脸算法大抵流程与整体架构。
1、AI 技术在捏脸中的具体利用
AI 捏脸涵盖的次要技术有：人脸检测、人脸对齐，性别分类，发型分类，及眉毛、眼睛人脸五官的属性分类等。
2、捏脸的大抵流程
通过对输出图片的剖析获取对齐后的人脸图片。人脸对齐后的图片分 2 种，一种是仅含人脸的图片（图片人脸占比 100%），另一种是蕴含残缺头发信息的图片（人脸占比 25% 左右）；
将对齐后的人脸图片送入性别分类模型中，得出性别；
通过判断性别来抉择相应的捏脸推理模块，从而失去虚构形象编码（含是否有胡子，脸型、发型等信息）；
最初通过虚构形象编码生成定制化的虚构形象。
图 3：虚构形象产出过程图
五、捏脸的成果难点攻克
为了失去最好的捏脸成果，咱们在理论研发过程中须要很好的解决以下问题：
数据如何采集
如何保障后果精确
不同用户在不同应用场景的鲁棒性
成果如何保障
1、迷信数据的采集
依据数据采集模块失去人脸属性数据，并通过数据改正和加强后训练失去 AI 表情模型，具体分为以下几个局部：
a、数据采集：针对业务需要，咱们购买和收集了人脸数据约 102 万张，并通过严格标注和验收；咱们为此开发了一套可用于人脸属性的数据标注软件，用于获取人脸的性别、头发、胡子、是否带眼镜、皮肤等级等数据；
b、数据管理：咱们还对一些难例在数据集上进行细分，尤其是对面部光线过暗、图像品质低、人脸角度过大等极其状况的数据进行了分类管理，在训练时能够对其进行不同的数据处理，如样本平衡，针对难例类型退出超参数平衡损失计算等在数据上进行训练优化；
c、数据加强：针对落地场景，设计了定制化的数据加强流程，丰盛了训练数据的模式。
2、模型设计的次要思维
在捏脸推理模块中的网络模型搭建上，咱们通过试验后果比照验证，设计一种性能和精度体现都十分不错的网络结构，次要包含提取图像特色的骨干网络和输入相应虚构形象编码的输入头。结构图如下：
图 4：网络结构示意图
咱们尝试了 Ghostmodel、Mobilenet、Bottleneck、MicroNet 等思维的网络结构和训练策略，在重复测试验证下最终的骨干网络是由 CBA、Ghost Bottleneck、MobileVit Block 组成，构造如下：
图 5：网络骨干（Backbone）示意图
其中骨干网络和输入头模块的具体构造如下：
图 6：骨干网络和输入头模块结构图
其中 Ghost Bottleneck 通过“便宜“的操作（DepthwiseConv）获取“冗余“的特色图来实现模型的推理提速，并通过 Bottleneck 思维将特色图的通道进行减少和缩小进一步缩小了参数量，其构造如下：
图 7：Ghost Bottleneck
Transformer，MobileVit Block 能够通过较少的参数获取各个特色图中部分的表征信息和特色图对其余特色图的全局表征信息，通过特色之间互相“参照”，使得特色的表白更加精确，其构造如下：
图 8：MobileVit Block
输入头采纳的特色共享的构造，使具备相关性的子工作之间互相起促进作用，其构造如下：
图 9：输入头
就这样搭建出了咱们残缺的网络结构：
图 10：残缺网络结构图
3、精心设计优化办法
设计不同的工作分支并针对类别进行细分，还采纳的共享特色的机制利用工作之间的相关性辅助指标工作学习。
损失函数为:
在理论训练时咱们不晓得各个子工作之间的影响是否都是无效的，为打消多任务之间存在竞争关系，咱们通过调整梯度，使每个 task 的训练率雷同，从而能够主动均衡多任务 loss function 中的权重。举个例子，如果工作 i 收敛的很快，那么绝对于其余子工作这个工作的
就应该减小，从而使其余工作对以后网络产生更大的影响。
总的来说，咱们大抵从以下几个方面进行优化：
a、从网络设计：
捏脸算法不是一个抽象 end-to-end 的算法，须要从很多维度提取特色进行细节剖析。为了缩小模型的耗费，咱们很多模型都采取多任务辅助监督训练。两头辅助监督的思维最早在 2014 的 ILSVRC 冠军模型 Googlenet 中呈现，前面在宰割网络 PSPNet 中有借鉴，最近在 ECCV 2020 中提出的 LableEnc，更是阐明将 ground-truth 标签映射到潜在嵌入空间上，作为辅助 backbone 训练的两头监督信息在检测畛域的有效性。联合咱们理论工作，咱们的多任务辅助监督训练与下面提及的两头辅助监督不一样，咱们的两头监督不仅仅只应用 ground-truth，大多时候，咱们设计的网络会应用多个工作协同监督一个主工作。
b、从数据处理：
数据处理，咱们会依据咱们理论需要，采纳不同的数据加强，除此之外，为了缩小计算量，在某些工作中，咱们还应用重构图像的策略，X = AS，X 示意原图像，S 示意重构图像，A 示意基函数组成的矩阵。
咱们的优化准则为：
其中，I(x,y) 示意原图像 X 上的像素，示意基函数矩阵 A 的第 i 个向量，示意 S 中的第 i 个响应值。通过优化准则，咱们可能实现通过感触野响应绝对强烈的信息表白整张图片所有信息。
c、从损失函数
损失函数的设计可能间接影响网络收敛的好坏，不同工作的损失函数不同，但其本质就是通过最小化损失函数求得全局最优。咱们会通过具体任务定义不同的损失函数，或者在公开损失函数中依据咱们需要加惩办项或束缚。
4、完满的捏脸成果
由编码后果间接生成虚构形象，可能会呈现脸型与五官或者发型“不搭噶“的状况。如何保障定制虚构形象领有更高的颜值，也须要依赖整个团队的配合。
一方面，开发同学在虚构形象的渲染成果上一直的调试优化，在肤色的调节、暗影的渲染、毛发的渲染、高光成果上做了很多尝试；另一方面设计同学为虚构形象设计的各种贴图素材，构建了齐备的素材库。例如：眉毛类型、眼睛形态、睫毛款式、脸型、肤色等。
在技术一直钻研和美学角度扫视的碰撞下，这样才使得 ZegoAvatar 最终的虚构形象不仅有很高的精密度，还提供了非常丰盛的捏脸自由度。
上面从 3 个方面简略表白捏脸环节的成果：
a、从性别上剖析
性别辨认，是捏脸最根底也是最要害的环节。因为角度，光照等外界因素，很容易辨认谬误，一旦性别辨认谬误，前面的捏脸程序，就会“越跑越偏”。为了均衡准确率和在挪动端实时性，训练过程中尝试了很多 tricks，咱们的性别辨认，在不同国籍不同年龄不同场景不同表情组成的 5 万测试集上，准确率能达到 96.7%。
b、从人脸外观特色上剖析
性别辨认后果之后，人脸上的外观特色辨认尤为重要，比方是否戴眼镜，是否有胡子，胡子散布在哪里。这些人脸上显著的外在特色，如果辨认不精确，捏进去的成果就会十分假。咱们人脸外观特色模型，包含眼睛，胡子和胡子散布的辨认，各维度的准确率别离为眼镜：99.5%、胡子：96.2%、胡子上下左右散布：95.0%。
c、从头发维度上剖析
头发剖析也是捏脸过程十分重要的一环，并且头发多个维度都具备多样性，在头发剖析中，如果辨认错其中一个维度，整体成果就会大大打折扣。咱们的头发分析模型，囊括了 5 种长度，9 种刘海，2 种捆扎形式还有头发区域 4 种维度的信息，可能给到渲染模块十分细粒度的头发特色，从而渲染出十分真切的头型。
ZEGO
ZEGO 即构科技依据 AI 产业倒退变动，抓住适宜本人技术能力的垂直利用场景，围绕虚构社交和在线 KTV 场景外围问题开掘，为用户打造个性化的虚构形象。在制作 AI 捏脸时走了一些弯路，起初咱们从围绕市场玩家的关注热点，又在整个团队的一直摸索和验证、踊跃寻找突破口下咱们的捏脸品质也越来越高。
莎士比亚在《仲夏夜之梦》中借人物之口说过，“设想的货色往往是扑朔迷离的，但在诗人的笔下，它们能够无形、有固有的本质，也能够有名字”。ZEGO Avatar 就如同莎士比亚笔下的诗人个别，为每个人定制个性化的虚构形象，胜利的开启了进入元宇宙时代的入口。
ZEGO 即构科技也将随着相干畛域的技术成熟，将打造出赋予新的外延和意义的数字人。从技术底层为内容开发者赋能，将虚构技术更间接、更便捷、更高效的交付终端用户。
将来，咱们可通过 AI 模型间接得出捏脸系数，真正做到千人千面！
