* 视频通话是微信的根底性能之一，在理论利用中受光照条件及视频采集设施能力所限，视频发暗是影响主观体验的重要因素。咱们尝试改良这个问题，欢送留言交换
该项工作的次要成绩发表在 ISCAS 2017 国内会议上。（”Low-LightingVideo Enhancement Using Constrained Spatial-Temporal Model for Real-Time MobileCommunication”, ISCAS, pp：595-598, Baltimore, MD,USA, 2017）
http://iscas2017.org/
1. 利用背景
目前绝大多数智能手机具备了视频拍摄性能，但因为受镜头尺寸和老本的限度，采集的视频图像的单像素上的光通量较小。尤其室内场景光照有余或者低照度的状况下，局部手机因为曝光有余导致视频显著偏暗，限度了其实时的挪动视频通话的利用。低照度视频加强技术，是一种通过批改视频图像的像素值来无效的改善此类场景下的视频成果，晋升客户的主观感触的视频图像处理技术。通过该技术来补救低照度下手机拍摄的视频图像，能够扩充视频通话的利用场景，晋升用户的产品体验。
2. 相干技术
现有的低照度视频图像增强技术次要借鉴低照度图像增强的一些办法，具体举几个例子：例如，直方图平衡 (Hist Equalization)：加强曲线为图像的概率累积散布函数，该办法能最大水平地拉伸整个图像的对比度。因为暗场景的图像其直方图存在顶峰，通过直方图平衡解决后，导致图像适度加强，从而使得图像失真，同时容易放大噪声。例如，对比度拉伸(Contrast Stretching)：通过设计适合的映射曲线，管制全局各个灰阶加强幅度。但映射曲线不具备自适应性，对不同图像要设计专门的加强曲线，才能够达到加强图像的成果。Gamma 校对是对比度拉伸的一种。例如，同态滤波(Homomorphic Filtering)：是一种频域加强算法。像素值由光照重量和反射重量决定。其中光照重量位于低频段，反射重量位于高频段。将图像映射到频域后，将光照重量和反射重量在频域离开，再别离进行加强解决。该办法适宜光照不平均状况下的加强，如同时蕴含室内和室外场景。因而不适应于视频通话中的加强。其余的加强算法，如色调映射(Tone Mapping) 和 Retinex 等办法，存在计算量过大或者容易在边缘处产生光晕等毛病，都不能间接用于实时视频加强的场合。
3. 设计动机
在实时的挪动视频通话的利用条件下，咱们简要阐明现有技术的毛病及要解决的问题：
（1）现有的视频加强计划次要是借鉴单幅图像的加强办法，因而只思考单帧信息，没有思考相邻帧之间的相关性。导致各帧间加强幅度不统一，从而呈现闪动或者颗粒景象，升高了主观成果。且对于亮度失常的图像，其加强算法往往过渡解决。
（2）在实时视频聊天的场景中，对计算量及存储空间十分敏感。实用算法都必须在较小的计算量和存储需要，达到最佳的加强成果。而相似色调映射和 Retinex 的计算量过大，即使通过优化也无奈适应手机端的实时视频解决。
通过剖析已有技术的技术特点和利用条件的限度因素，咱们心愿设计的算法具备以下几个特点：其一，加强低照度的视频图像。其二，间断的视频图像不产生闪动。其三，对亮度失常的图像不做夸大的再加强。其四，算法的计算复杂度可能满足实时挪动视频通话的限度。这样的设计思路，为后续的算法设计和试验验证提供了方向和规范。
4. 技术详述
本文提出了一种实时挪动通信中基于时空域联结束缚的低照度视频加强技术。在该技术中咱们设计了图像空域的亮度加强束缚和对比度加强束缚，以及视频帧时域的亮度一致性束缚，并对提出的联结束缚框架给出了凸优化的闭合解。上面具体对每一个束缚的设计进行详尽介绍，最初给出问题的优化解。该办法在 YUV420 空间进行，将亮度重量 Y 和色度重量 UV 离开，只对 Y 重量进行解决，放弃 UV 色彩信息。图像灰度的取值范畴为[0-255]。
首先，低照度视频图像增强的最重要的解决就是亮度加强。一种最为间接的形式就是应用一族加强函数来定义亮度值加强，如图 1 所示：
图 1. 亮度值的加强函数族（横轴为低照度亮度值，纵轴为加强后的亮度值）。
在咱们的设计中，通过采集同一场景下低照度和失常照度的视频数据对，通过离线训练的形式，失去了基于训练样本的亮度加强函数族 FI。
然而，因为单纯的晋升整体像素的亮度值，会使得图像整体的对比度不平衡，依然不能提供好的人眼主观视觉感触。咱们提出了自适应的视频图像亮度值域调整的算法，进而通过新的值域范畴来对图像进行直方图的均衡化调整。咱们统计图像的像素点的值域范畴时，排除掉最小的 d% 个像素和最大的 d% 个像素的烦扰，将两头范畴内的像素最大值和最小值进行调整，调整策略为自适应软阈值的办法。从而生成数据自适应的对比度加强函数 FC。
只从繁多的图像维度来思考加强的问题，往往会产生相邻图像帧之间的亮度跳变，即闪动景象。为此咱们将以后帧和相邻多帧的均匀亮度的差别代价，结构出代价函数 G，来束缚由亮度加强和对比度加强函数可能带来的闪动景象。
综上咱们设计的优化问题为：
易知三个束缚项均为二次项，问题能够通过最小二乘法求解，如下：
本文算法的创新性和奉献：
（1）通过离线的办法训练亮度加强函数，用以正当的晋升亮度。依据以后低照度视频图像自适应的生成对比度加强函数，用以从新调整图像对比度。依据已解决帧的信息，自适应的调整邻近帧间的亮度一致性，克制闪动景象
（2）无效的将上述（1）的影响因素，对立成正则化的最优化框架下，来同时束缚满足上文前三点项设计要求（加强低照度的视频图像，间断的视频图像不产生闪动以及对亮度失常的图像不做夸大的再加强），并给出满足实时利用需要的求解形式。
（3）该算法具备较低的计算复杂度和极强的鲁棒性，试验证实其大量测试和线上的视频图像的加强成果中没有适度加强和失真加强的差品质样例。
5. 试验后果
咱们通过试验数据来验证咱们的办法的性能。首先咱们给出不同场景下不同暗图像增强算法的主观性能比拟。
图 2. Bonsai 图片上的主观试验后果，a 示意原始暗视频图像，b- e 别离示意文献 13 的办法，f 示意咱们提出的办法解决的视频图像。
图 3. Face 图片上的主观试验后果，a 示意原始暗视频图像，b- e 别离示意文献 13 的办法，f 示意咱们提出的办法解决的视频图像。
图 2 和图 3 别离给出了低照度条件下风物和人物的加强成果。从图中能够看出咱们的办法具备绝对较好的主观成果。
图 4. Street 视频上间断两帧的主观试验后果，a 示意原始暗视频图像，b- e 别离示意文献 13 的办法，f 示意咱们提出的办法解决的视频图像。
图 4 给出了间断的视频帧中克制闪动成果的主观后果。如图能够看出一些办法存在着视频图像亮度闪动的景象，咱们的办法在加强亮度的同时不存在闪动的景象。
图 5. Kimono 视频图像的主观试验后果，a 示意原始暗视频图像，b- e 别离示意文献 13 的办法，f 示意咱们提出的办法解决的视频图像。
图 5 给出了惯例亮度的视频帧，咱们的办法可能尽可能的不影响曾经足够亮堂的视频图像，防止了适度的加强。
进而咱们通过一系列的主观的数据来从另一个侧面评估咱们的算法。表 1 中，咱们通过将算法对立到 Matlab 平台上进行偏心的比拟，剖析各个算法的工夫复杂度，能够看出咱们的办法具备最好的实时性能，且在理论利用中该算法仅仅须要非常少的 CPU 计算代价，且具备良好的汇编优化成果，并不需要大规模的 GPU 等其余简单计算资源。
表 2 中，咱们通过利用无参考的品质评估 NR-CDIQA 办法，剖析各个算法的主观品质，能够看出咱们的办法具备最好的视觉性能。值得注意的是，在惯例亮度的视频图像 Kimono 中，咱们办法解决的得分最靠近于原视频图像的打分，即咱们没有夸大的适度加强。
参考文献
[1] K. He, J. Sun, and X. Tang,“Single Image HazeRemoval Using Dark Channel Prior,”in Proc. IEEE Conf. Computer Vision and PatternRecognition., pp. 1956-1963, 2009.
[2] Y. Li, Robby T. Tan, and Michael S. Brown,“Nighttime Haze Removal with Glow and Multiple LightColors,”in Proc. IEEE International Conference on Computer Vision, pp. 226-234, 2015.
[3] X. Dong, G. Wang, Y. Pang, W. Li, J. Wen, W. Mengand Lu, Y,“Fast efficientalgorithm for enhancement of low lighting video,”in Proc. IEEE International Conference on Multimedia andExpo, 2011.
[4] W. Shi, C. Chen, F. Jiang, D. Zhao and W. Shen,“Group-based sparse representation for lowlighting image enhancement,”in Proc.IEEE International Conference on Image Processing, pp. 4082-4086, 2016.
[5] Y. Fang, K. Ma, Z. Wang, W. Lin, Z. Fang, and G.Zhai,“No-Reference QualityAssessment of Contrast-Distorted Images Based on Natural Scene Statistics,”IEEE Signal Processing Letter, vol. 22, no. 7, pp. 838-842, 2015.
结语
本文针对低照度视频序列，为了加强视频图像的主观视觉品质，设计了正则化的最优化框架（其中蕴含：亮度加强代价函数，对比度加强代价函数和亮度一致性代价函数），并给出满足实时利用需要的求解形式。该算法具备较低的计算复杂度和极强的鲁棒性，试验证实其大量测试和线上的视频图像的加强成果中没有适度加强和失真加强的差品质样例。相干技术全副为微信多媒体内核组的组内自研，已获中国专利受权一项且中稿国内视频编码畛域的重要会议文章一篇。
本文转自微信后盾团队, 如有进犯, 请分割咱们立刻删除
OpenIMgithub 开源地址：
https://github.com/OpenIMSDK/…
OpenIM 官网： https://www.rentsoft.cn
OpenIM 官方论坛： https://forum.rentsoft.cn/
更多技术文章：
开源 OpenIM：高性能、可伸缩、易扩大的即时通讯架构
https://forum.rentsoft.cn/thr…
【OpenIM 原创】简略轻松入门 一文解说 WebRTC 实现 1 对 1 音视频通信原理
https://forum.rentsoft.cn/thr…
【OpenIM 原创】开源 OpenIM：轻量、高效、实时、牢靠、低成本的音讯模型
https://forum.rentsoft.cn/thr…