写在前边：图像和视频通常蕴含着大量的视觉信息，且视觉信息自身具备直观高效的形容能力，所以随着信息技术的高速倒退，图像和视频的利用逐步遍布人类社会的各个领域。近些年来，在计算机图像处理，计算机视觉和机器学习等畛域中，来自工业界和学术界的许多学者和专家都继续关注着 视频图像的超分辨率技术 这个根底热点问题。本文试着讲述超分辨率技术的正确打开方式，浅谈视频图像的超分辨率技术的基本概念和利用场景等问题。
1. 什么是超分辨率？
1.1 超分辨率初体验
简略来讲，图像超分辨率就是进步图像的空间分辨率，例如将一幅图片的分辨率由 352×288 扩充到 704×576，不便用户在大尺寸的显示设施上观看。图像的超分辨率，是图像处理相干问题中的根底问题之一，并具备宽泛的理论需要和利用场景，在数字成像技术，视频编码通信技术，深空卫星遥感技术，指标辨认剖析技术和医学影像剖析技术等方面，视频图像超分辨率技术都可能应答显示设施分辨率大于图像源分辨率的问题。
简略来说超分辨率技术能够分为以下两种：1）只参考以后低分辨率图像，不依赖其余相干图像的超分辨率技术，称之为单幅图像的超分辨率（single image super resolution），也能够称之为图像插值（image interpolation）。
2）参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频 / 多图的超分辨率（multi-frame super resolution）。
这两类技术中，一般来讲后者相比于前者具备更多的可参考信息，并具备更好的高分辨率视频图像的重建品质，然而其更高的计算复杂度也限度了其利用。故，本文后边将以单图超分辨率 / 图像插值为例，进行超分辨率技术的介绍。
1.2 超分辨率实践形容
这个很直观的超分辨率问题，它的实践形容又是什么样子的呢？如图所示，超分辨率就是将左图中像素点之间的空间地位用像素点进行填充，使得整个图像具备更多的像素点，更丰盛的细节，从信号的角度讲就是补充出更多的高频成分。
通常在解决这个超分辨率问题的时候，咱们经常摸索这个进化信号是如何从咱们心愿的现实信号变动失去的（即分辨率的进化过程），如果对进化过程进行准确地形容，往往对其逆问题的求解有重要的意义。在本文的问题中，即超分辨率的进化模型，能够通过以下公式来形容：
Y = HDX + n
其中 Y 为低分辨率的视频帧 / 图像，X 为咱们现实高分辨率的视频帧 / 图像，而 H 和 D 别离为含糊算子和分辨率下采样算子，n 为进化过程中产生的噪声。
由上述公式可知该进化问题存在着病构个性，即 多个不同的高分辨率图像 X，通过雷同的进化过程解决，能够失去同样的低分辨率图像 Y 。这就导致咱们无奈间接通过 Y 求解出一个准确的 X，也是视频图像超分辨率问题始终是一个开放性问题的起因（逐步迫近合乎人眼视觉意识的解）。
依据图像超分辨率的技术路线进行分类，图像超分辨率技术大抵能够分为以下几类：基于定参数的线性滤波器技术，基于图像边缘构造的技术，基于图像重构束缚的技术和基于机器学习的技术。
2. 什么时候用超分辨率？
先举一个小例子，一张悠久而经典的低分辨率老照片，怎么在一个先进的高清的显示器上播放？这就是低分辨率图片和高分辨率显示设施之间的不匹配。很显著，这个场景下咱们能够应用超分辨率技术，如下图所示。
单从图像的后处理显示的角度来讲，目前在 PC 和手机的屏幕显示性能上都配有相应的实时的超分辨率技术。通过观察可知，PC 机上的超分辨率技术绝对比较简单（比方，邻近像素复制 or 双线性插值），而手机端屏幕的超分辨率技术比 PC 机显示的超分辨率技术的性能要更好一些，可能提供较好的主观视觉品质，且 IOS 零碎的手机的超分辨率技术相比于一些 Andriod 零碎手机的超分辨率技术性能更高一些。不同的超分辨率算法带来的加强视觉感触的成果不同，一些软件的超分辨率办法在带来更好的视觉品质的同时，也引入了很大的计算代价，一直挑战着显示设施的计算能力。
*3. 超分辨率能节俭带宽吗？*
那么，前边赘述了这么多超分辨率的根底概念和应用办法，这个技术看起来就是万能的吗？有些人会有疑难，那就能够借着超分辨率技术用小分辨率的图进行通信就好了？其实并不是这样的！
在传输图片的时候，超分辨率和带宽有什么关系呢？一般来讲，当初的通信类利用中，图片都是须要通过压缩，传输，再解压缩这样的一系列过程。最间接的计划 *A是依照原分辨率和现有带宽来进行压缩和传输，最终间接显示。而 另一种计划 B * 是，先通过下采样的办法将原视频图像的分辨率下采为原分辨率的 1 /K，而后在低分辨率和现有带宽下进行压缩和传输，接收端在解码后通过超分辨率技术将该视频图像的分辨率以 K 倍重建后显示。如图所示
这里，超分辨率技术就不单单是一个视频图像的后处理技术，而是基于高低采样的编码传输框架中的一个重要环节。那么问题来了，这种下采样 *- 超分辨率的图片传输计划 B 可能节俭带宽吗？（最终图片的视觉品质统一的前提下），或者说是在雷同的带宽限度下，间接压缩传输大图片和压缩小图片再超分辨率显示，哪一种计划对显示的主观品质更好？* 因为在这个场景下两个计划之间不能直观的从实践上比拟，所以咱们通过试验来进行阐明，设计了以下试验：
原图压缩计划 *A，即原始高分辨率图像间接通过编码器进行压缩和传输，在解码端间接失去原始分辨率的重构图像。基于高低采样的图像压缩计划 B *，即图像首先通过一个分辨率下采样（宽高均为 1 / 2 倍）的预处理办法，再将失去的低分辨率图像利用雷同的第三方的编解码器 WebP 进行压缩和传输，最初将在解码端失去的低分辨率图像利用超分辨率技术重建出其高分辨率的图片（这里超分辨率技术选用 Google 在 G + 上的计划和一种经典的深度网络的 SCN 办法）。
上面咱们给出两个不同策略下的图像压缩的（图片品质和文件大小）性能的比拟，如下图所示。
如图（a）和（b）两幅图像的性能比拟所示，图像纵坐标为图像全参考的视觉品质评估办法 SSIM 指标（用来比拟雷同分辨率下的原图和在对端最终显示的图像的差别），横坐标为图像经由第三方编码器 WebP 的压缩码流所占用的存储空间（KB），高低采样压缩曲线的四个数据点对应 WebP 品质因子别离为 40,60,80,100，而原图压缩的四个数据点对应 WebP 品质因子别离是 2,5,15,60。
试验中首先验证失去两个意识，一个是随着码率（带宽）的减少，间接压缩传输的计划 A 能疾速的达到近无损压缩或无损压缩。另一个是随着码率（带宽）的减少，超分辨率的计划 B 具备性能下限的限度，靠近下限时，减少码率就只会带来十分强劲视觉性能的晋升。
再通过试验曲线能够得出，在 低码率范畴内 ，采纳原图压缩计划的压缩效率要低于基于采样的图像编码策略（即等同品质下，基于采样的图像编码策略图片文件更小，节俭带宽），而在 中高码率范畴内，采纳原图压缩计划的压缩效率要优于基于采样的图像压缩计划（即等同品质下，超分辨率的图像编码策略的图片文件更大，节约带宽）。
进而咱们联合应用环境得出以下论断，在带宽重大受限的状况下，应用超分辨率技术可能改善其本来较差的视觉品质（即超分辨率技术在等同品质下节俭传输带宽）；在带宽良好的状况下，原图分辨率间接压缩传输的计划可能提供更加好的视觉品质（即超分辨率技术在等同品质下节约传输带宽和后处理计算资源）。
目前，在常见的一些视频图像的利用中，咱们给定的码率均为中高码率以满足图像视频的视觉品质，大部分挪动终端上的视频图像利用的计划均为在指标分辨率上间接压缩，品质管制在高于 WebP 品质因子为 60 的程度，如试验中验证的一样，在这个码率范畴下，采纳现有的间接压缩原图计划 A 要优于下采样压缩低分辨率图像再做解压缩超分辨率的计划 B。
3. 小结
视频图像超分辨率技术，是图像处理相干问题中的根底问题之一，也是近些年来学术界钻研的热点问题。视频图像超分辨率技术作为图像的后处理技术能为了匹配更大分辨率的显示设施够晋升图像的主观视觉效果。在压缩传输的利用场景中，为了在等同带宽下取得更高的图像品质，超分辨率算法实用于低带宽时低质量图像上的加强，在带宽短缺时依然应该传输高分辨率图像，即下采样—超分辨率的技术，受限于其性能下限，仅仅在低码率传输条件下，采纳超分辨率加强的图像品质显著优于的在大图像上间接编码（即等同品质节俭带宽）。综上所述，视频图像超分辨率技术在利用中要思考计算复杂性限度，传输带宽的限度和视觉性能下限（主观视觉效果）等因素，来抉择失当的利用场景。
本文转自微信后盾团队, 如有进犯, 请分割咱们立刻删除
OpenIMgithub 开源地址：
https://github.com/OpenIMSDK/…
OpenIM 官网： https://www.rentsoft.cn
OpenIM 官方论坛： https://forum.rentsoft.cn/
更多技术文章：
开源 OpenIM：高性能、可伸缩、易扩大的即时通讯架构 https://forum.rentsoft.cn/thr…
【OpenIM 原创】简略轻松入门 一文解说 WebRTC 实现 1 对 1 音视频通信原理 https://forum.rentsoft.cn/thr…
【OpenIM 原创】开源 OpenIM：轻量、高效、实时、牢靠、低成本的音讯模型 https://forum.rentsoft.cn/thr…