共计 1412 个字符,预计需要花费 4 分钟才能阅读完成。
作者 | CV 君
报道 | 我爱计算机视觉(微信 id:aicvml)
分享一篇论文 AAAI 2021 录用论文 EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining,其提出了极其疾速高效的图像去雨算法,均匀 6ms 即可解决一幅图像,比之前的 state-of-the-art 办法(RCDNet,CVPR2020)快 80 倍!目前代码已开源。
论文作者信息:
作者团队来自南洋理工大学、日本九州大学、阿里巴巴、天津大学,通信作者为九州大学的 Lei Ma。
看一下该算法在 Rain100H 数据集上与其余算法的比拟后果(以 PSNR 和 SSIM 为评估规范):
可见在去雨成果上十分靠近最好的后果,速度却是最快,十分难得!
去雨的视觉效果:
算法原理
该算法的原理非常简单,最重要的思维是把去雨看为图像的 逐像素滤波 问题。而滤波操作是高度优化的操作,在 GPU 上的实现必然十分快。
看懂上面这张图,即可齐全了解作者的算法思维:
图像经深度卷积网络学习逐像素的卷积核参数,而后与原图做卷积即得最终的去雨后图像,训练的时候须要(有雨、无雨)的图像对。
作者指出,只管上述思维没有问题,但因为逐像素卷积核大小的问题,如果只学习一般卷积核(即每个像素预测三个通道的 3x(3×3)个参数)如上图中的(a)局部,对于雨条较大的图像很难获得称心的成果,因为毕竟卷积的过程是寻找四周非雨条像素赋以高权重的加权,卷积核如果没有笼罩到非雨条像素,必定成果不好。
为在尺度上应答大雨条,所以作者做了改良,让神经网络预测多尺度的空洞卷积核,如(b)子图中是预测 4 个尺度的空洞卷积核,空洞卷积后再把后果加权,取得最终的去雨图像。
所以算法的外围思路可总结为:学习多尺度空洞卷积 + 图像加权交融。
因为下面所有步骤仅波及古代 GPU 特地善于的卷积操作,故速度十分快。
另外,在图像去雨畛域,数量大、品质高的成对数据集是非常少的,所以作者创造了 RainMix 增广算法,简略一句话介绍就是 雨条图像各种变换后再加权的数据增广办法。
下图表白了 RainMix 的外围思路:
试验后果
具体试验配置不再赘述,请看下图去雨的视觉效果:
可见,对比拟难的状况,如头发、面部、含细丝的图像,该文算法获得了较好的视觉效果。
下表展现了在 Raindrop 数据集上的数值比拟后果:
尽管 EfficientDeRain 数值上略逊于最好的办法,但曾经很棒了,毕竟这可是快了 80 倍的算法!
下图是作者评估的算法各个局部对后果影响的比拟:
可见空洞卷积、SSIM 损失函数和 RainMix 都使去雨数值成果更好,但真正带来大幅成果晋升的是数据增广办法 RainMix。表中亦列出了计算工夫,测试机器 GPU 为 NVIDIA Quadro P6000。
这篇 AAAI 2021 论文的核心思想并不难,能够说在速度上做到了去雨算法的极致,CV 君认为其特地具备启发的一点是把去雨看为卷积问题,间接预测卷积核,对于其余图像复原问题,亦可尝试。
作者曾经开源了代码、数据和预训练模型,欢送试用比拟!
论文:https://arxiv.org/pdf/2009.09…
代码:https://github.com/tsingqguo/…
感激作者开源~
作者提供的数据和模型,国内无奈下载,CV 君已将其搬到国内,在我爱计算机视觉公众号后盾回复“高效去雨”,即可收到打包下载。