作者 | Salted Fish
编辑 | CV君
报道 | 我爱计算机视觉（微信id：aicvml）
论文链接：
https://ieeexplore.ieee.org/d...
看点
现有的VSR办法的次要问题是参考帧的特色与相邻帧的特色的交融是一步的，交融后的特色可能与原始LR中的视觉信息有较大的偏差。本文提出了一种端到端的多阶段特色交融网络，次要奉献为：
- 提出了一种新的VSR特色交融办法，该办法容许在主干网的不同阶段汇集空间和工夫特色。
- 多尺度可变形对齐模块，用于在特色级别对齐帧。
办法
overview
下图显示了框架，包含两个子网：工夫对齐网络和调制特色交融网络。
承受输出，预计相邻帧的对齐特色，而后，将相邻帧的所有对齐特色连贯为：
共享给所有的SFT，逐渐与的多阶段特色交融，失去预测的HR帧。
工夫对齐网络(TAN)
给定LR帧，通过观察像素的时空邻域以非显示静止弥补的形式来工夫对齐LR帧和相邻帧。该算法包含三个模块：特征提取模块、多尺度扩大变形（MDD）对齐模块和注意力模块。
特征提取模块：由一个卷积层和5个具备ReLU的残差块组成。利用共享的特征提取模块从中提取特色并将其输出MDD对齐模块。
MDD对齐模块：下图显示了MDD对齐模块的体系结构。输出的串接并馈入3×3瓶颈层，以缩小特色映射的通道。
先并行地重叠两个3×3和5×5卷积核以提取多尺度特色。而后，将特色输出两个不同的扩张率为2和3的3×3的核中，有利于扩充感触野。
这种简略的设计能够无效地扩充接管野，其计算量远低于EDVR中的PCD对准模块。因而，MDRB有助于利用帧间像素的工夫依赖性，即便在蒙受简单和大静止时，也能生成精确的偏移量参数：
通过偏移量计算对齐特色：
注意力模块：因为遮挡、含糊区域和视差问题，容易产生一些未对齐，使得不同空间地位的对齐特色信息不相等，从而导致在某些特色上与参考帧存在较大差别。故设计了一个空间留神掩码M去衡量：
其中，测量之间的像素级相似性，定义为:
其中，应用L1间隔去更加关注高置信度地位的特色。
调制特色交融网络
现有的SOTA办法通常首先通过级联将参考帧和对齐的相邻特色交融，而后将它们馈送到重构网络中以产生HR输入。然而，这种单阶段交融策略有两个局限性：
第一，对齐的相邻帧和参考帧在特色级有大量类似的模式，因而，简略地将它们串联在一起会给重建网络带来大量的冗余，导致低廉的计算成本。
第二，交融只产生在初始层，随着深层网络档次的加深，来自相邻帧的互补工夫信息将逐步削弱。为了解决上述问题，本文提出了级联一组插在分支骨干不同深度的MRFBs。采纳SRResNet的高级体系结构作为分支骨干。
每个MRFB蕴含一个SFT层，该层以工夫对齐特色作为共享条件，从参考帧调制其输出特色映射。SFT层通过缩放和移位操作输入以为条件的的仿射变换：
其中和是缩放比例和位移的参数。将送入不同权值的卷积层，能够失去变换参数和。在每个MRFB中，在所有卷积层之后注入SFT层，在多阶段交融过程中，利用对齐的工夫信息统一地加强了参考帧的视觉信息。
最初，咱们通过一个反馈跳过连贯将从最初一个MRFB学习到的高级特色反馈给第一个MRFB的输出层。这个反馈机制利用高层信息对底层特色进行细化，细化后的特色通过调制特色交融网络，便于学习从LR到HR图像空间的简单非线性映射，无需额定的参数。
试验
施行细节
应用Vimeo-90K数据集的一个子集Septuplet来训练模型。应用Charbonnier惩办函数作为损失，蕴含16个MFRB。
融化试验
定量评估
不同对准模块的比拟
同交融策略的比拟，其中，DF将多帧的对齐特色串联起来，而后通过2d卷积进行一级交融。3DF间接利用三维卷积来提取时空特色并进行一级交融。
与SOTA的PSNR比照
END