作者 | CV君
报道 | 我爱计算机视觉（微信id：aicvml）

分享一篇论文AAAI 2021录用论文 EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining ，其提出了极其疾速高效的图像去雨算法，均匀 6ms 即可解决一幅图像，比之前的state-of-the-art办法（RCDNet，CVPR2020）快80倍！目前代码已开源。

论文作者信息：

作者团队来自南洋理工大学、日本九州大学、阿里巴巴、天津大学，通信作者为九州大学的Lei Ma。

看一下该算法在Rain100H数据集上与其余算法的比拟后果（以PSNR和SSIM为评估规范）：

可见在去雨成果上十分靠近最好的后果，速度却是最快，十分难得！

去雨的视觉效果：

算法原理

该算法的原理非常简单，最重要的思维是把去雨看为图像的逐像素滤波问题。而滤波操作是高度优化的操作，在GPU上的实现必然十分快。

看懂上面这张图，即可齐全了解作者的算法思维：

图像经深度卷积网络学习逐像素的卷积核参数，而后与原图做卷积即得最终的去雨后图像，训练的时候须要（有雨、无雨）的图像对。

作者指出，只管上述思维没有问题，但因为逐像素卷积核大小的问题，如果只学习一般卷积核（即每个像素预测三个通道的3x(3x3)个参数）如上图中的（a）局部，对于雨条较大的图像很难获得称心的成果，因为毕竟卷积的过程是寻找四周非雨条像素赋以高权重的加权，卷积核如果没有笼罩到非雨条像素，必定成果不好。

为在尺度上应答大雨条，所以作者做了改良，让神经网络预测多尺度的空洞卷积核，如（b）子图中是预测4个尺度的空洞卷积核，空洞卷积后再把后果加权，取得最终的去雨图像。

所以算法的外围思路可总结为：学习多尺度空洞卷积+图像加权交融。

因为下面所有步骤仅波及古代GPU特地善于的卷积操作，故速度十分快。

另外，在图像去雨畛域，数量大、品质高的成对数据集是非常少的，所以作者创造了RainMix增广算法，简略一句话介绍就是雨条图像各种变换后再加权的数据增广办法。

下图表白了RainMix的外围思路：

试验后果

具体试验配置不再赘述，请看下图去雨的视觉效果：

可见，对比拟难的状况，如头发、面部、含细丝的图像，该文算法获得了较好的视觉效果。

下表展现了在Raindrop数据集上的数值比拟后果：

尽管 EfficientDeRain 数值上略逊于最好的办法，但曾经很棒了，毕竟这可是快了80倍的算法！

下图是作者评估的算法各个局部对后果影响的比拟：

可见空洞卷积、SSIM损失函数和RainMix都使去雨数值成果更好，但真正带来大幅成果晋升的是数据增广办法RainMix。表中亦列出了计算工夫，测试机器GPU为NVIDIA Quadro P6000。

这篇AAAI 2021 论文的核心思想并不难，能够说在速度上做到了去雨算法的极致，CV君认为其特地具备启发的一点是把去雨看为卷积问题，间接预测卷积核，对于其余图像复原问题，亦可尝试。

作者曾经开源了代码、数据和预训练模型，欢送试用比拟！

论文：https://arxiv.org/pdf/2009.09...

代码：https://github.com/tsingqguo/...

感激作者开源~

作者提供的数据和模型，国内无奈下载，CV君已将其搬到国内，在我爱计算机视觉公众号后盾回复“高效去雨”，即可收到打包下载。