关于计算机视觉:恒源云AdderSR-Towards-Energy-Efficient-Image-SuperResolution学习笔记

8次阅读

共计 1270 个字符,预计需要花费 4 分钟才能阅读完成。

文章起源 | 恒源云社区

原文地址 | CVPR2021

原文作者 | 学习 cv 的小何


一 钻研问题

单图像超分辨率 (SISR) 是一项典型的计算机视觉工作,其目标是从低分辨率 (LR) 图像中重建高分辨率图像。SISR 是智能手机和挪动相机在事实利用中十分风行的图像信号处理工作。因为这些便携式设施的硬件限度,有必要开发具备低计算成本和高视觉品质的 SISR 模型。

第一个超分辨率的卷积神经网络 (SRCNN)[5] 只蕴含三个具备大概 57K 参数的卷积层。而后,随着深度和宽度的减少,DCNN 的容量被放大,导致超分辨率的显著进步。最近 DCNN 的参数和计算成本也相应减少。例如,残余密集网络 (RDN)[30] 蕴含 22M 参数,并且仅解决一个图像须要大概 10,192GFLOP(浮数操作)。与视觉辨认的神经网络(如 50 清晰度网)相比,因为较大的特色地图大小,SISR 模型具备更高的计算复杂度。这些大量的计算将缩小挪动设施的持续时间。

本文利用加法神经网络 (AdderNet) 钻研了单幅图像超分辨率问题。与卷积神经网络相比,加法网利用加法计算输入特色,防止了传统乘法的大量能量消耗。然而,因为计算范式的不同,很难将 AdderNet 在大规模图像分类上的现有胜利间接继承到图像超分辨率工作中。具体来说,加法器操作不容易学习一致性映射,这对于图像处理工作是必不可少的。此外,AdderNet 无奈保障高通滤波器的性能。为此,咱们深入分析了加法器操作与身份映射之间的关系,并插入快捷方式,以进步应用加法器网络的 SR 模型的性能。

二 背景介绍

AdderNet
加法网络,“计算机视觉研究院”平台之前就详细分析了,并且移植到指标检测,具体链接如下:
CVPR2020 AdderNet(加法网络)
代码实际 | CVPR2020——AdderNet(加法网络(代码分享)

现有的无效超分辨率办法旨在缩小模型的参数或计算量。最近,[Hanting Chen, Yunhe Wang, Chunjing Xu, Boxin Shi, Chao Xu, Qi Tian, and Chang Xu. Addernet: Do we really need multiplications in deep learning? In CVPR, 2020]创始了一种新的办法,通过用加法运算代替乘法来缩小网络的功耗。它在卷积层中没有任何乘法,在分类工作上实现了边际精度损失。本此钻研旨在进步加法网络在超分辨率工作中的性能。

三 流程图

简要概括本文流程:

1、提出将 Addnet 利用在 SR 里会遇到的两个问题,

  • 不能学习一致性映射
  • 不能实现高通滤波

2、剖析了这两个问题呈现的起因并进行证实
3、提出了解决这两个问题的办法
4、试验验证

四 办法

外围办法简述:

  • 利用相似残差的办法解决无奈实现一致性映射的问题
  • 利用指数激活解决无奈实现高通滤波的问题





参考
AdderSR: Towards Energy Efficient Image Super-Resolution

AdderNet: Do We Really Need Multiplications in Deep Learning?

华为 CVPR2021 | 加法网络应用于图像超分辨率

正文完
 0