共计 1717 个字符，预计需要花费 5 分钟才能阅读完成。
【本期举荐专题】 从三大支流前端技术登程，看看它们各自个性，以及如何从业务个性登程，抉择适合的框架。
摘要： 咱们基于 MindSpore 设计了一种人脸识别算法，以解决口罩遮挡场景下的人脸识别问题。该算法的开源代码曾经在 MindSpore 上首发了。
本文分享自华为云社区《不必摘口罩也晓得你是谁，MindSpore 训练口罩人脸识别模型》，原文作者：chengxiaoli。
人脸识别的指标是确定人脸图像的身份。随着智慧城市的建设，人脸识别的利用场景越来越多样，比方嫌疑人追踪、定位走失的老人儿童等。随着新型冠状病毒在寰球范畴内的暴发，为了公共卫生平安，越来越多的人在公共场所佩戴口罩以升高感化传染性疾病的危险。
传统的人脸分析方法次要提取整张脸部的全局特色进行剖析，口罩遮挡场景下，面部的局部重要部位（比方下颌等）被口罩覆盖住，提取整张脸的全局特色将会引入大量噪声。因而，口罩遮挡场景下的人脸剖析工作亟需新的解决方案。咱们基于 MindSpore 设计了一种人脸识别算法， 以解决口罩遮挡场景下的人脸识别问题。该算法的开源代码曾经在 MindSpore 上首发了。
- 论文：
Feifei Ding, Peixi Peng, Yangru Huang, Mengyue Geng and Yonghong Tian. Masked Face Recognition with Latent Part Detection. ACM Multimedia 2020. https://dl.acm.org/doi/pdf/10… - 开源地址：https://gitee.com/mindspore/m…
算法框架
目前还没有针对口罩人脸的大规模的训练数据集，为解决训练数据有余的问题，咱们基于已有的公开人脸数据集生成口罩人脸数据作为训练数据。流程如下：
（1）采纳已有的人脸关键点检测算法（比方 Dlib）检测出无遮挡人脸图片上的多个关键点地位；
（2）标注出口罩佩戴区域（鼻尖以下区域）的关键点地位；
（3）在口罩示例图片（比方 N95 口罩）上手动标注关键点，并和人脸口罩佩戴区域的关键点一一对应；
（4）依据口罩示例图片的关键点地位，对其做三角剖分，将口罩示例图片划分为多个小三角形；
（5）依据口罩示例图片和人脸图片的关键点对应关系，将口罩示例图片上的每个小三角形区域仿射变换到人脸图片上，并进行平滑操作，生成口罩人脸图片。
咱们在人脸公开数据集 WebFace 上生成了 8 种不同格调的口罩人脸，将其与原始未佩戴口罩的人脸图片混合，作为训练数据。
算法框架如图所示，思考到口罩人脸中的许多重要信息被口罩遮挡，咱们提出了基于潜在区域检测的二分支网络模型以提取更具判断力的特色。其中，部分分支对潜在区域提取部分特色，全局分支对原图提取全局特色。
试验后果
咱们收集了理论的口罩人脸数据集 PKU-Masked-Face Dataset 作为测试集，该测试集共有 10301 张属于 1018 个不同身份的人脸图片。大多数身份有至多 5 张佩戴口罩和 5 张不佩戴口罩的共计 5 个视角的人脸图片，5 个视角别离为：侧面、右面、右面、仰视、仰望。口罩人脸图片作为查问图像库，正常人脸图片作为待匹配图像库。
测试集链接：
https://pkuml.org/resources/p…
基于 MindSpore 实现的算法模型试验后果如下表所示，其中 Baseline 为采纳 WebFace 原始数据训练的 ResNet50 基准模型，MG 是采纳 WebFace 加强数据训练的 ResNet50 模型，LPD 为咱们提出的潜在区域检测模型。
MindSpore 代码实现
二分支网络结构代码：
其中 global_out 和 partial_out 别离对应对原图提取的全局特色和潜在区域提取的部分特色，两局部共用特征提取骨干层。
潜在区域检测 LPD 模块的具体实现：
其中输出为原始图片，输入为未被遮挡人脸区域边界坐标。
- 相干训练与推理代码：
https://gitee.com/mindspore/m…
该代码基于 MindSpore 框架实现，运行的硬件环境为 Ascend910。算法解决了口罩遮挡场景下的人脸识别问题，对基准模型性能晋升显著，试验后果如上表白到业界领先水平。
点击关注，第一工夫理解华为云陈腐技术~
