共计 1875 个字符，预计需要花费 5 分钟才能阅读完成。
你认为这些人像发丝的勾画是 PS 做的吗？
不！这是 AI 算法的成果！
这是什么 AI 技术能把发丝精密的辨认，甚至还能有透明度突变？通过小编的一番调研，这项技术叫做 Matting，是指通过计算前景的色彩和透明度，将前景从影像中撷取进去，并生成一张 Alpha 图的技术。
该数据援用公开数据集 [1]
近期 PaddleSeg 团队复现了经典 Matting 算法 MODNet，并进行了肯定改良，提供了更丰盛的 backbone 模型抉择，实用边缘端、服务端等多种工作场景。
在这里小编连忙给大家贴上我的项目链接地址。欢送小伙伴们 star 珍藏：https://github.com/PaddlePadd…
同时 PaddleSeg 团队提供了可部署在手机端的 APP 利用，欢送大家扫码体验 Matting 的人像抠图成果。
APP 下载链接：
https://paddleseg.bj.bcebos.c…
Matting 精细化抠图被广泛应用在多种行业，如视频剪辑，视频合成等畛域。
看到这么好的技术，有的小伙伴们会比拟关注技术上是怎么实现的，那么咱们就一起来看看 Matting 的技术演化过程。
Matting 算法根本构造
基于深度学习的 Matting 分为两大类：
1. 一种是基于辅助信息输出。即除了原图和标注图像外，还须要输出其余的信息辅助预测。最常见的辅助信息是 Trimap，行将图片划分为前景，背景及适度区域三局部。另外也有以背景或交互点作为辅助信息。
- 一种是不依赖任何辅助信息，间接实现 Alpha 预测。
本文将别离对两类 Matting 算法开展介绍，和小伙伴们一起梳理 Matting 的倒退历程。
DIM -Matting
DIM（Deep Image Matting）第一次论述了在给定图像和辅助信息 Trimap 的状况下，能够通过端到端的形式学习到 Alpha。其网络分为两个阶段，第一阶段是深度卷积编码 - 解码网络，第二阶段是一个小型卷积神经网络，用来缩小编码 - 解码网络引起的细节损失，晋升 Alpha 预测的准确性和边缘成果。在 DIM 之后诞生了大量的基于 Trimap 的 Matting 网络。
图片起源：Xu, Ning, et al. “Deep image matting.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
BGMV2：
以背景作为辅助信息
BGMv2(Background Matting v2) 扭转思路，利用背景图像取代 Trimap 来辅助网络进行预测，无效防止了 Trimap 获取费时费力的问题，并将网络分为 Base 网络和 Refiner 两局部。在计算量大的 Base 网络阶段对低分辨率进行初步预测，在 Refiner 阶段利用 Error Map 对高分辨率图像相应的切片进行 Refine。通过此实现了高分辨率图像的实时预测。
图片起源：Lin, Shanchuan, et al. “Real-time high-resolution background matting.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
MODNet
辅助信息的获取极大限度了 Matting 的利用，为了晋升 Matting 的应用性，针对 Portrait Matting 畛域 MODNet 摒弃了辅助信息，间接实现 Alpha 预测，实现了实时 Matting，极大晋升了基于深度学习 Matting 的利用价值。MODNet 将 Matting 分解成三个子目标进行优化，通过工作合成晋升 Alpha 预测的准确率。
图片起源：Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.
以后 PaddleSeg 提供的 Matting 算法便是对 MODNet 算法的复现，并在原著根底上提供了多个不同骨干网络的预训练模型如 RestNet50_vd、HRNet_w18 来满足用户在边缘端、服务端等不同场景部署的需要。
图片数据援用阐明：
[1]Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.
点击进入取得更多技术信息~~