共计 3273 个字符，预计需要花费 9 分钟才能阅读完成。
本文为大家带来的演讲主题是“ 面由心生，由脸观心 ”，将次要分享如何疾速实时且精准检测并辨认面部情绪。俗话说“面由心生”，意思是如果你心理有情绪，咱们个别可能从你的脸上察看到，这种技术能够说是“由脸观心”，是一种基于面部的 AI 情绪辨认技术。本文次要笼罩四局部内容：
- 微表情定义和意义。
- 微表情钻研面临的挑战。
- 微表情的现状和停顿。
- 现有的数据库（各自的优缺点）、微表情的特色、检测算法、辨认算法、利用、已有办法比拟、将来可能的钻研方向瞻望。
WAVE SUMMIT+2021 深度学习开发者峰会
【科技翻新，女性力量】论坛
一、微表情的定义和意义
什么是面部表情？
它是指咱们肌肉上面有一处或者多处静止变动，表白人类情绪的一种面部静止状态。面部表情是咱们信息交换跟情感传递的一种重要伎俩。
传统意义上说的面部表情，实际上指的是宏表情，基本上分六类，有、悲伤、、讨厌、恐怖等等。因为它受意识的管制，所以它能够覆盖心田的实在情绪，是能够通过假装而表达出来的。
心理学家艾克曼传授团队对这种面部表情进行了编码，即人脸静止编码零碎。这套零碎把人脸面部表情静止的形容形式形象成一些根本的人脸形变单元，比方把“快乐”面部表情拆解，会对应“圈眼轮匝肌外收紧；脸颊抬升 ……”等形容。对于不同的情绪，人脸的各个面部表情最终被对应到相应 AU 组合中。咱们以“快乐”为例，它实际上是 AU6 跟 AU12 的联合。
表情是人类情绪的外在反映，它肯定可能做到心神合一吗？不肯定。
微表情绝对表情有什么意义？
1969 年，艾克曼传授和他的团队，在心理医生和抑郁症患者的交谈录像中发现，患者 Mary 在整个视频中情绪体现得十分踊跃，因为她试图通过踊跃的情绪坑骗医生，让医生容许她入院。但当咱们去慢看视频时，会发现视频中有几帧裸露了 Mary 的实在情绪，她想他杀。
艾克曼和团队给这种实在情绪起了一个名字，叫微表情。微表情是一种持续时间短，静止幅度小的表情。它试图拆穿本人实在情绪，却不盲目裸露在人脸肌肉上。
由此可知微表情跟表情是有关系的，微表情岂但不受思维意识管制，而且继续的工夫十分短，人的意识还没有来得及去管制它，就曾经被裸露进去，所以它肯定是实在情绪的反馈。正是因为微表情的这个特点，它在刑侦、平安、司法、会谈等畛域都有十分重要的利用。
二、微表情钻研面临的挑战。
微表情的倒退历程是怎么的？
第一是微表情的辨认，它最开始是通过人工训练的，大略训练一个半小时，能够进步到 30%-40% 的准确性，但心理学家论证了人工辨认最高不会超过 47%。起初随着心理学试验逐步演进到计算机利用下面，微表情有了 AU 组合，如果是快乐，宏表情的快乐是 AU6+AU12，微表情是 AU6 或者是 AU12，或者是 AU6+AU12。第二是微表情静止，它是部分的肌肉块静止，而不是两个肌肉块同时静止，比方快乐，静止的是 AU6 或者是 AU12。但如果强度比拟大，可能会呈现 AU6 和 AU12 同时产生的状况。另外宏表情和微表情有一些分割，就是微表情的 AU 可能是宏表情 AU 的子集。
宏表情、微表情有什么区别？
微表情不容易被发觉，而宏表情非常容易被发觉；微表情的持续时间十分短，介于 0.065 秒到 0.5 秒之间，然而宏表情的工夫绝对长一些，介于 0.5 到 4 秒之间；微表情的幅度变动十分小的，但宏表情变动十分大；微表情不受人的意识管制，但宏表情是能够管制的；微表情波及到人脸面部的静止单元更少一些，然而宏表情可能波及到更多的区域。
微表情的特点有那些？
微表情的特点是继续的工夫十分短、静止幅度的变动较小、难以拆穿和克制，因而它常常容易被人所疏忽掉。既然人容易疏忽微表情，那么咱们能够借助计算机辅助伎俩来解决这些问题，比方用一个高速摄像机对着待测者的脸，让计算机把图像一帧一帧存储起来。
三、微表情的钻研现状和停顿
在咱们团队建设 MMEW 数据库之前，针对微表情的钻研，不足一些特地大的公开数据库，最大的数据库也仅有 247 个样本，且它的图像分辨率不高。
对此咱们进行了优化，一方面从人员的数量上进行了优化降级，人脸分辨率和图像的分辨率尽量做大。另一方面对于人表情情绪的分类，做到了更准确，同时样本的均衡性要比其余的库好。最初，咱们公布的一个数据集 MMEW，它蕴含同一个人的宏表情和微表情的样本，这是现有的数据库做不到的。 四、现有的数据库、微表情的特色、检测算法、辨认算法、利用、已有办法比拟、将来可能的钻研方向瞻望。
如何建设数据库？
在收集数据前，咱们要诱发微表情的产生，因而要给待测者看一些心理学家论证好的刺激源，这些小的刺激源持续时间十分短，要保障待测者的注意力非常集中。在他们产生表情之前，咱们要让待测者放弃一种平静的情绪，相当于面部没有肌肉变动，一旦受到刺激当前，面部就会有一些刺激，咱们让待测者形容受到刺激时他是什么样的情绪，而后咱们对这个图片会一帧一帧察看，最初造成 MMEW 数据集。
收集好数据，接下来要对数据集进行标注。因为要给情绪标签，所以我要晓得到底哪些 AU 产生了变动，从而给变动的 AU 打一个标注。且微表情是一个工夫的继续概念，所以我还要标注出它产生的开始时刻、完结时刻以及低潮时刻。
微表情有什么特色?
微表情的特色，是由原始视频特色，提取一些形容，最终送到检测器或分类器。
当初较好的微表情特色分成这样几类，有时空域特色、频域特色、光流特色，深度学习特色。
深度学习特色，它是一种黑盒模型，咱们须要钻研它的可解释性的问题。对于这种光流特色，目前比拟支流的办法是主方向的光流的均匀特色，叫 MDMO。获取它不同的稠密特色系数，最初送到 SVM 分类器外面。深度学习这个办法也有对空间和工夫上进行解决，失去时间性的连贯模型还有时空模型，这是一个循环卷积网络进行微表情辨认的工作。还有动静的成像零碎来做微表情辨认的深度学习办法。
微表情有那些检测算法？
咱们说微表情检测有两种办法，一个是 detection，它是检测有没有微表情产生；一个是 spotting，它是除了检测微表情有没有产生，如果有产生，还要标注进去微表情产生的起始时刻、终止时刻、低潮时刻。
这两种办法容易受到一些阈值的烦扰，这些阈值要进行手工调，十分耗时。辨认的办法有传统的分类器 SVM、极其学习机、K 近邻，还有深度学习模型、迁徙学习模型。因而咱们提出了一种新的微表情检测办法，首先要找到一些特色点，而后在试验中咱们发现标注进去的区域是最感兴趣的区域，最初计算感兴趣区域外面的光流。
如果是微表情，它的幅度有肯定的高度，角度是恒定的。咱们把它转成极坐标系，能够发现这部分点对应微表情的特色，如果这部分点在单位圆以内，代表它的变动幅度十分小，能够了解为没有表情；如果这部分点在圆以外，咱们看它的角度实际上是变动的，那么这个彩色的点对应的就是宏表情。
用这个办法就能够辨别微表情、没有表情、宏表情，也能够用这种形式来做微表情的检测。咱们还提出了不同的决策准则，比方有踊跃的准则，有激进的准则，最初在公开的数据库上，该办法失去了十分好的性能。
和已有办法的比拟，微表情辨认算法评估的劣势有那些? 咱们对现有的一些图像预处理的办法，进行了评估，发现跟传统的机器学习办法比照，光流的办法能最好的辨认性能。咱们还比照了传统的机器学习办法和深度学习机器办法，发现后者更有劣势的，然而它须要去思考可解释的深度学习。
微表情将来可能的钻研方向有那些？
首先仿照人脸识别，咱们认为将来微表情辨认，也是须要爱护隐衷的。
其次咱们能够去迁徙一些相干畛域的常识，比如说宏表情和微表情比拟相近，那么能不能把宏表情的特色迁徙学习到微表情辨认呢？这将是一个值得学习的方向。对于数据集，当初咱们团队有一个 800 多个样本的库，可即便把所有可获取的微表情样本全副加到一块，还是十分小。最初，因为微表情在采集的时候是通过高速摄像机，所以从网上搜寻的一些数据满足不了这个帧频，只可能通过采集的形式获取。咱们能够采纳众筹的形式，把的数据集做的更标准化一些。还能够采纳生成技术，进行一些微表情的生成，帮忙咱们更好的去辨认微表情。因为当初深度学习比拟热，所以咱们须要做可解释的微表情辨认。