作者 | CV 君
报道 | 我爱计算机视觉（微信 id：aicvml）
分享一篇论文 AAAI 2021 录用论文 EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining，其提出了极其疾速高效的图像去雨算法，均匀 6ms 即可解决一幅图像，比之前的 state-of-the-art 办法（RCDNet，CVPR2020）快 80 倍！目前代码已开源。
论文作者信息：
作者团队来自南洋理工大学、日本九州大学、阿里巴巴、天津大学，通信作者为九州大学的 Lei Ma。
看一下该算法在 Rain100H 数据集上与其余算法的比拟后果（以 PSNR 和 SSIM 为评估规范）：
可见在去雨成果上十分靠近最好的后果，速度却是最快，十分难得！
去雨的视觉效果：
算法原理
该算法的原理非常简单，最重要的思维是把去雨看为图像的 逐像素滤波 问题。而滤波操作是高度优化的操作，在 GPU 上的实现必然十分快。
看懂上面这张图，即可齐全了解作者的算法思维：
图像经深度卷积网络学习逐像素的卷积核参数，而后与原图做卷积即得最终的去雨后图像，训练的时候须要（有雨、无雨）的图像对。
作者指出，只管上述思维没有问题，但因为逐像素卷积核大小的问题，如果只学习一般卷积核（即每个像素预测三个通道的 3x(3×3)个参数）如上图中的（a）局部，对于雨条较大的图像很难获得称心的成果，因为毕竟卷积的过程是寻找四周非雨条像素赋以高权重的加权，卷积核如果没有笼罩到非雨条像素，必定成果不好。
为在尺度上应答大雨条，所以作者做了改良，让神经网络预测多尺度的空洞卷积核，如（b）子图中是预测 4 个尺度的空洞卷积核，空洞卷积后再把后果加权，取得最终的去雨图像。
所以算法的外围思路可总结为：学习多尺度空洞卷积 + 图像加权交融。
因为下面所有步骤仅波及古代 GPU 特地善于的卷积操作，故速度十分快。
另外，在图像去雨畛域，数量大、品质高的成对数据集是非常少的，所以作者创造了 RainMix 增广算法，简略一句话介绍就是 雨条图像各种变换后再加权的数据增广办法。
下图表白了 RainMix 的外围思路：
试验后果
具体试验配置不再赘述，请看下图去雨的视觉效果：
可见，对比拟难的状况，如头发、面部、含细丝的图像，该文算法获得了较好的视觉效果。
下表展现了在 Raindrop 数据集上的数值比拟后果：
尽管 EfficientDeRain 数值上略逊于最好的办法，但曾经很棒了，毕竟这可是快了 80 倍的算法！
下图是作者评估的算法各个局部对后果影响的比拟：
可见空洞卷积、SSIM 损失函数和 RainMix 都使去雨数值成果更好，但真正带来大幅成果晋升的是数据增广办法 RainMix。表中亦列出了计算工夫，测试机器 GPU 为 NVIDIA Quadro P6000。
这篇 AAAI 2021 论文的核心思想并不难，能够说在速度上做到了去雨算法的极致，CV 君认为其特地具备启发的一点是把去雨看为卷积问题，间接预测卷积核，对于其余图像复原问题，亦可尝试。
作者曾经开源了代码、数据和预训练模型，欢送试用比拟！
论文：https://arxiv.org/pdf/2009.09…
代码：https://github.com/tsingqguo/…
感激作者开源~
作者提供的数据和模型，国内无奈下载，CV 君已将其搬到国内，在我爱计算机视觉公众号后盾回复“高效去雨”，即可收到打包下载。