乐趣区

关于人工智能:精细到发丝级别的抠图算法工程师的浪漫YYDS

你认为这些人像发丝的勾画是 PS 做的吗?

不!这是 AI 算法的成果!

这是什么 AI 技术能把发丝精密的辨认,甚至还能有透明度突变?通过小编的一番调研,这项技术叫做 Matting,是指通过计算前景的色彩和透明度,将前景从影像中撷取进去,并生成一张 Alpha 图的技术。

该数据援用公开数据集 [1]

近期 PaddleSeg 团队复现了经典 Matting 算法 MODNet,并进行了肯定改良,提供了更丰盛的 backbone 模型抉择,实用边缘端、服务端等多种工作场景。

在这里小编连忙给大家贴上我的项目链接地址。欢送小伙伴们 star 珍藏:https://github.com/PaddlePadd…

同时 PaddleSeg 团队提供了可部署在手机端的 APP 利用,欢送大家扫码体验 Matting 的人像抠图成果。

APP 下载链接:
https://paddleseg.bj.bcebos.c…

Matting 精细化抠图被广泛应用在多种行业,如视频剪辑,视频合成等畛域。

看到这么好的技术,有的小伙伴们会比拟关注技术上是怎么实现的,那么咱们就一起来看看 Matting 的技术演化过程。

Matting 算法根本构造

基于深度学习的 Matting 分为两大类:
1. 一种是基于辅助信息输出。即除了原图和标注图像外,还须要输出其余的信息辅助预测。最常见的辅助信息是 Trimap,行将图片划分为前景,背景及适度区域三局部。另外也有以背景或交互点作为辅助信息。

  1. 一种是不依赖任何辅助信息,间接实现 Alpha 预测。

本文将别离对两类 Matting 算法开展介绍,和小伙伴们一起梳理 Matting 的倒退历程。

DIM -Matting

DIM(Deep Image Matting)第一次论述了在给定图像和辅助信息 Trimap 的状况下,能够通过端到端的形式学习到 Alpha。其网络分为两个阶段,第一阶段是深度卷积编码 - 解码网络,第二阶段是一个小型卷积神经网络,用来缩小编码 - 解码网络引起的细节损失,晋升 Alpha 预测的准确性和边缘成果。在 DIM 之后诞生了大量的基于 Trimap 的 Matting 网络。

图片起源:Xu, Ning, et al. “Deep image matting.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

BGMV2:

以背景作为辅助信息

BGMv2(Background Matting v2) 扭转思路,利用背景图像取代 Trimap 来辅助网络进行预测,无效防止了 Trimap 获取费时费力的问题,并将网络分为 Base 网络和 Refiner 两局部。在计算量大的 Base 网络阶段对低分辨率进行初步预测,在 Refiner 阶段利用 Error Map 对高分辨率图像相应的切片进行 Refine。通过此实现了高分辨率图像的实时预测。

图片起源:Lin, Shanchuan, et al. “Real-time high-resolution background matting.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

MODNet

辅助信息的获取极大限度了 Matting 的利用,为了晋升 Matting 的应用性,针对 Portrait Matting 畛域 MODNet 摒弃了辅助信息,间接实现 Alpha 预测,实现了实时 Matting,极大晋升了基于深度学习 Matting 的利用价值。MODNet 将 Matting 分解成三个子目标进行优化,通过工作合成晋升 Alpha 预测的准确率。

图片起源:Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.

以后 PaddleSeg 提供的 Matting 算法便是对 MODNet 算法的复现,并在原著根底上提供了多个不同骨干网络的预训练模型如 RestNet50_vd、HRNet_w18 来满足用户在边缘端、服务端等不同场景部署的需要。

图片数据援用阐明:
[1]Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.
点击进入取得更多技术信息~~

退出移动版