共计 4221 个字符，预计需要花费 11 分钟才能阅读完成。
导读：「眼界大开 声临其境」技术系列课第三期。网易易盾资深计算机视觉算法工程师胡宜峰带来了主题为《视频深度伪造检测技术在内容平安畛域的摸索与实际》技术分享。
讲师简介： 胡宜峰，网易易盾资深计算机视觉算法工程师，次要负责图像和视频 AI 算法在内容平安畛域的研发、落地和优化。在违禁、涉政、暴恐内容辨认、logo 辨认、图像检索、视频深度鉴伪等多个畛域有丰盛的研发和我的项目落地教训。
AI 技术利用的「双刃剑」效应
AI 是近些年热度颇高的词汇，并实实在在地渗入了生存的方方面面，如：AI+ 平安、AI+ 交通、AI+ 医疗、AI+ 批发等。在诸多 AI 技术的成熟利用中，人脸技术又是其中最为广泛应用的技术之一，常见于智能安防、金融交易、公共交通等畛域，置信许多人都有过刷脸领取、刷脸入园的经验。
随着 AI 技术的蓬勃发展，AI 主动生成内容的程度获得了显著的进步。依靠文本、语音、图像、视频等载体，AI 主动生成技术被宽泛地用于模拟和伪造人类的想法、行为和特色。这在肯定水平上升高了人力等老本的耗费，为咱们的生存带来了便当和精力享受，AI 主动生成技术所带来的仿真数据和虚拟化内容肯定水平上能够为一些垂直畛域带来新的利用场景或者间接推动该畛域的技术提高。
然而事物具备两面性，科技倒退也存在着“双刃剑”效应。 人们在享受人脸技术带来便当体验的同时，也不可避免地受到人脸技术滥用所带来的危险和隐患。随着 AI 换脸、主动美颜、智能 P 图等技术和利用的风行，由 AI 主动生成技术引发的平安危险和“黑灰产”问题也一劳永逸，尤其是人脸相干技术，作为 AI 技术落地最为宽泛的场景之一，所面临的平安、伦理和道德的挑战愈发重大。AI 主动生成技术和人脸技术在视频载体上的联合，也就是咱们熟知的“视频深度伪造”，曾经成为 AI 技术被滥用的“重灾区”。
视频深度伪造技术
视频深度伪造技术，从技术方向上看，伪造办法次要分为 4 种。其一是全人脸的生成，这种个别是用 GAN 相干的算法生成现实生活中本不存在的虚构人脸，常见于游戏等一些虚构场景。其二是 AI 换脸，将生存中理论存在的人脸进行相互替换，这类利用因为针对性强、娱乐成果好，经常能宽泛破圈流传，因而在学术界和工业界都是重点的外围钻研对象。换脸是目前利用最宽泛，也是潜在的隐患最大的视频深度伪造办法。其三是人脸属性的编程，次要蕴含发型、发色、眼睛、肤色等重要属性的编辑，常存在于一些自拍美颜美肤的 App 中。其四是表情扭转，赋予人脸喜怒哀乐等不同表情，或是将 A 的表情体现在 B 脸上。
从具体算法上看，次要是通过 GAN、自编码器、格调迁徙等办法来实现的，这外面也会波及一些比方关键点定位、对齐、宰割、交融等操作。
除了技术方向多、算法多，当初人脸伪造公开的数据集也比拟多。这在肯定水平上为视频深度鉴伪算法的翻新和迭代提供了数据撑持，促成了视频深度鉴伪算法的倒退。 然而，视频深度鉴伪是一个继续反抗的开集问题，仅通过公开数据上训练的模型，想要很好地解决这个问题其实不太事实。为了更好地解决此问题，须要更加零碎和全面的方案设计，这也是深度伪造检测这项业务的重点和难点。
视频深度伪造识别方法与难点
作为对视频深度伪造的反抗，视频深度鉴伪的办法次要有以下几种：人工特色、CNN、CNN+ 人工特色、CRNN、transformer 等等，这些办法囊括了人脸伪造辨认最次要的方向，也形容了人脸伪造辨认的整体历程。
首先是人工特色，比方 eye blinking、head pose 等等，与实在人脸相比，人脸伪造或换脸必然会存在肯定的不统一，也就是咱们说的“伪造的痕迹”。基于这些统计层面上的痕迹去挖掘人工特色，是比拟传统和无效的办法。传统特色往往针对性比拟强，然而泛化能力有余，尤其是在攻打的视频做过比拟多后处理之后，传统特色的成果会大打折扣。所以当初一些钻研工作从传统特色 +CNN 特色动手，围绕特色和分类器层面的交融角度发展，把人工特色作为 deep learning 特色的补充。当然这里所说的人工特色，是指通过统计层面的察看退出先验常识，非端到端学习的形式。
当然，随着 deep learning 的倒退，间接用 deep learning 进行端到端的人脸伪造辨认也是当初钻研的热点。基于 deep learning 的办法大多数是把人脸伪造辨认转换成一个“人脸检测 + 分类”的问题，通过人脸检测先检测到人脸的地位，做适当的 expand 再进行 crop，送到后续进行是否为人脸的二分类。这种形式比拟间接，流程绝对简略，同时因为人脸检测当初比拟成熟，个别不会是这个工作的难点所在，所以整个工作就转换成了一个人脸 patch 的分类问题。转换为分类问题后就能够更间接地连接一些成熟办法来解决人脸伪造辨认的问题，比方半监督学习、迁徙学习等等。
随着 deepfake 的风行以及当初短视频的日益火爆，人脸伪造和换脸的主战场曾经迁徙到了视频畛域 ，所以对人脸伪造的钻研很天然地会退出视频序列信息，利用 RNN、LSTM 对序列特色进行编码，从而解决辨认问题。这部分工作也是当初钻研的热点。
通过对伪造和鉴伪的介绍，不难发现，伪造和鉴伪是一个反抗的过程，很多鉴伪办法也是针对某些伪造办法而定制设计的。 这个反抗过程也反映了当初学术界的一个难点，鉴伪办法没有很好的泛化性。雷同的鉴伪办法在不同的数据上，可能会呈现微小的体现差别。 而且，这个学术界难题，迁徙到工业界会被进一步放大，因为咱们面对的并不是一种或者几种办法，也不是数据集，而是一个开集问题，面对的是海量的伪造办法和未知的互联网数据。所以说，未知办法多、反抗多等特点，给视频深度鉴伪的实际落地，带来了微小艰难。
当然，伪造办法多不仅仅体现在具体的伪造算法上。咱们发现，其实伪造后处理也是对辨认成果的微小挑战之一。很多伪造办法，为了覆盖伪造痕迹，会做很强的后处理来进行反抗。当初比拟风行的一些美白、美肤等工具，也主观起到了后处理的作用。这些后处理极大水平上会覆盖伪造的痕迹，给辨认带来微小难度。
除此之外，数据分布宽泛是个更广泛的问题，在人脸识别里也会遇到。
网易易盾视频深度伪造检测解决方案
针对以上的难点， 咱们整体的解决方案如下图所示，采取了“人脸检测 + 分类”的整体思路。 分类就是“是否为伪造人脸”的二分类。之所以抉择这个主体计划，是因为这是目前在学术界成果最好、利用最宽泛的办法，同时人脸检测也曾经是业界十分成熟的技术，能够让咱们的精力聚焦到后置的分类问题上，将辨认问题转换为分类问题，这也更不便咱们紧密结合业界的先进技术，达到事倍功半的成果。
那么针对上述伪造办法多、后处理形式多、数据分布宽泛的问题。从数据层面，咱们紧密结合了以后炽热的半监督技术，开掘难例样本、进步开掘数据的精确度、升高标注开销、晋升带噪学习的能力。同时，咱们也会间接从伪造和后处理的角度，为辨认提供反抗的素材。这两种形式，其实是数据层面的交融。算法层面，常见无效的办法和特色咱们的计划都会波及到，并进行特色层面抉择及交融。当然，最终决策层面的交融也是十分重要的形式。
半监督的办法大家可能都比拟相熟，这里须要指出的是，半监督办法和视频深度鉴伪问题存在比拟好的符合性。所谓符合性，能够从半监督的办法和咱们之前探讨难点的间接关系来看。以下列举了次要的半监督的办法：generative methods、consistency regulation、Plabel、hybrid methods。
首先是生成式的办法，后面也有提到，deepfake 的数据，很多是 GAN 生成的，这里能够和 generative 的半监督办法做一个比拟天然的连接，对应的是咱们提到的生成形式多样的难点。其次是 consistency regulation 的办法，咱们晓得 consistency regulation 的办法核心思想是输出做了不同变换的 pair 对，输入应该保持一致。这其实是为了晋升模型的泛化能力以及晋升模型的变换鲁棒性。这个点能够对应于后面提到的后处理办法多样的难点，通过利用无标签数据，晋升模型变换的鲁棒性。基于 Plabel 的办法，外围是通过伪标签的形式，裁减训练数据的散布，从而晋升模型的性能。这对应于咱们后面说的伪造办法多、数据分布宽泛的问题。
所以，在 deepfake detection 这个问题上利用半监督办法，能较好地对应解决相干难点。
除了半监督，因为 deepfake 是一个攻守反抗问题，生成训练数据并有监督地训练初始模型，也是最间接无效的办法。当然，这里也要思考生成办法多样、后处理办法多等问题。
当初学术界对 deepfake detection 的钻研很多。后面也有提到，这些钻研大多数是从特色网络结构设计、loss 设计等层面，挖掘和交融出更具鲁棒的特色进行辨认，包含惯例的 embedding 特色、频域特色、序列特色、人工定义特色、伪造痕迹特色等。这些办法的交融，一部分是特色层面的交融，一部分是决策层面的交融。须要指出的一点是，从训练数据到算法，deepfake detection 都是一个针对性很强的工作，要想在开集问题上获得较好的泛化成果，除了在单个算法上寻求冲破外，多种办法的交融和抉择，也是最外围、最无效的办法之一。
所以，在决策层面的交融是必不可少的内容。模型交融，是最间接无效能晋升模型成果和泛化性的办法。 这个思路在其余 AI 问题上是通用的，然而有个非凡的点须要指出，个别模型交融的共识是在测试集上体现有差别但指标类似的模型，交融会有成果晋升，而 deepfake detection 因为跨伪造办法的泛化能力不强，往往会呈现两个模型在同一批数据上体现差别很大的状况。针对这个问题，须要更加粗疏地思考交融的策略，减少更多抉择的策略。
当然，多个模型速度会受到肯定的限度，在非离线的速度要求较高的场景，会进一步进行模型的蒸馏，让小模型集成多个大模型的能力。
网易易盾视频深度伪造检测的成绩
正如其它的涉政、暴恐、违禁相干的业务一样，视频深度伪造检测也被定位为一个开集的一直迭代优化的问题。网易易盾从解决思路、数据、模型等角度，设计了残缺的解决方案。成绩方面，在第二届中国人工智能大赛视频深度伪造检测赛道， 网易易盾从 188 家企业、高校、钻研单位中怀才不遇，以 TOP1 的问题取得了最高级 A 级别证书。
明天的分享从背景、伪造、辨认、技术计划的角度，给大家介绍了伪造和辨认相干的内容。心愿对 AI、伪造辨认相干畛域感兴趣的同学能从本文取得一些帮忙。
扫码关注微信公众号，获取更多资讯：
