共计 2949 个字符，预计需要花费 8 分钟才能阅读完成。
在低光照的夜间，摄像头采集的画面通常是一片暗淡，画面清晰度要远远低于肉眼。而随着实时音视频利用技术的倒退，咱们曾经看到了各种画质加强的视频加强技术，那么是否存在一种技术，能够使视频在低光照条件下看起来比理论状况更清晰或靠近理论状况呢？
卧室的墙和灯，在低照度加强之前和之后
一、低照度图像增强技术的利用场景
低照度图像增强是指对暗光条件下拍摄的图像进行画质加强，使其变得清晰或靠近于肉眼成果。咱们总结了一些与低照度相干的强需要场景，具体如下：
1、进步夜间查看或监测的可见度
在夜间条件下，监控摄像头或汽车平安摄像头的视频品质和清晰度至关重要。
夜晚的乌镇牌楼，低照度加强前后的比照
在公共场所设置监控摄像头的目标是为了监督和记录。然而，夜间视频记录在光线有余的状况下大多是光明和不清晰的，不能作为刑事案件的线索或证据提供明确和无力的反对。
而汽车平安摄像头的视频记录对于交通事故的解决至关重要，越分明的视频蕴含更多的细节，有助于交警更好更快的解决。
2、用于实时流媒体或视频聊天
当波及到互联网娱乐和社交场景时，咱们心愿即便在暗光条件下也能分明的看到对方的脸。
这是产生在咱们客户上的一个实在事件。该客户是一个颇具规模的网络交友平台，有一个用户不喜爱在她的卧室里开灯再加上她自身是偏彩色的皮肤，后果她的网友在这种暗淡的环境中看不到她的脸。咱们的客户对用户放弃了高度的尊重，所以心愿可能在不开灯或光线有余的状况下也能改善用户的体验。
3、用于 AI 内容辨认的图像增强技术
咱们的 Avatar 技术可能依据输出图像对人物进行实时建模。该技术中的人脸识别、人体关键点辨认等多种和视频相干的算法都对输出图像品质有着比拟高的要求。算法可能正确的辨认到人脸和躯体地位取决于输出图像是否足够清晰。
在输出图像光明或含糊的状况下，辨认人脸和身材轮廓是十分具备挑战性的，所以最终的输入成果会受到影响。
二、传统做法与弊病
为了满足用户需要，解决在光线有余及条件下视频品质低下的这些问题，咱们通过自研 AI 算法对低光照视频进行加强。
1、用传统算法来加强视频亮度
低照度加强的次要作用是晋升画面的亮度，同时还要思考以下几点限度：
- 画面过曝：高亮度的像素不应该被适度提亮
- 克制噪点：图像乐音不应该被放大
- 轮廓清晰：无效信息应被最大限度地保留
传统算法很难同时思考上述几点要求。深度学习办法也可用于低照度图像增强，但它在内存、CPU 和 GPU 上有肯定的耗费，其弊病如下：
- 模型和推理库较大
- 计算量较大
- 耗电
夜晚的社区走廊，在低照度加强之前和之后
2、传统算法的常见问题
传统算法在进行视频低照度加强的同时，对画面中的所有内容都依照雷同的规定进行解决，容易导致画面中的亮区灰度被适度拉伸，使得画面呈现过曝。
而深度学习办法的模型个别较大，运算量大，功耗大，很难在挪动端或边缘设施上进行实时处理，笼罩机型极其无限。
三、ZEGO 低照度图像增强，成果更好
1、ZEGO 低照度，补救传统算法有余
为了解决传统低照度图像增强带来的问题，咱们做了以下几个方面的改良：
- 首先不是所有的视频像素都应该被提亮，咱们要防止适度提亮那些曾经足够亮的像素。一些视频像素是低亮度的，须要相应地提亮到不同的亮度。ZEGO 低照度算法一帧一帧的对视频进行扫描，对不同亮度的像素进行分类。
- 理论运行场景下不会加载深度学习模型。相同，咱们只加载 2D/3D LUT（又称查找表）。咱们离线训练了深度学习模型，并提取 2D/3D-LUTs，最初将其植入到咱们的算法中，因而咱们在达到和深度学习模型雷同成果的同时，躲避掉了其自身的一些弊病。
夕阳下的乌镇水道，在低照度加强之前和之后
2、ZEGO 低照度图像增强技术劣势
FHD 实时视频
FHD 视频是指具备高帧率的高清视频，它能给用户更好的观看体验。因为采纳了深度学习算法训练失去的 2D/3D-LUT，该算法能在保障加强品质的同时进行实时处理。
舒服天然的视觉体验
咱们置信 “ 少即是多 “ 的理念。咱们对不同亮度的区域做不同水平的解决，防止过曝，使视频看起来天然、舒服。当咱们检测到视频画面足够亮时，咱们甚至不进行任何解决。
全面笼罩挪动设施，包含低端设施
得益于离线深度学习办法和其余翻新措施，ZEGO 低照度技术即便在低端或老旧智能手机（如小米 2S 或 iPhone 4S）和物联网设施上也能有杰出的性能体现。
极其照明条件下的鲁棒性
ZEGO 低照度技术曾经在大量的极其照明状况下进行了测试，可能在极其光明或亮堂的条件下良好工作。咱们还与其余友商解决方案进行了比照测试，发现后者在极其的照明条件下会呈现炫光或闪动等异常情况。
四、ZEGO 低照度图像增强技术研发思路
ZEGO 即构科技领有一支专门从事视频加强的人工智能研发团队，并且已零碎的建设了一套简单的人工智能画质加强算法。该团队多年来深耕图像处理技术，一直超过现有的技术手段，即便在极其的低照度场景，也能提供令人惊艳的画质，同时可能在边缘设施上以高分辨率、高帧率、进行实时运行。
1、轻量级的深度学习模型
深度学习技术尽管能对加强低光视频起到很大的作用，但它很难在低端机型上实时运行起来。
咱们应用模型训练失去的 2D/3D LUT 并在运行阶段加载该查找表用于低照度加强。基于该查找表，算法的理论算力和内存耗费都十分小，使得低端机型也能进行实时的画质加强。
2、适当地增亮到不同程度
该算法会对整个图像进行扫面并评估不同区域的亮度程度。咱们只对低光照且蕴含无效信息的区域进行增亮而不会解决那些曾经足够亮的区域。
3、安稳地减少光量以防止闪动
为了给用户更好的应用体验，咱们会在一小段时间里动静调整低照度的加强程度，使其可能平稳过渡到指标亮度，防止环境光洁的忽亮忽暗导致的画面呈现闪动。
如果不思考加强成果的过渡，当环境光呈现频繁变动时会导致算法来回切换加强模式从而使得画面呈现闪动。该算法会在肯定工夫内进行渐进式增亮，保障增亮成果平稳过渡，使得肉眼看起来感到天然和舒服。所有这些致力背地的理念是以人为本。
4、防止检测帧间的光线变动
在理论状况下，光线可能是闪动的，两个间断帧之间的光照可能会呈现比拟大的差别。咱们不会对相邻两帧之间进行光照变动的检测，防止额定的计算耗费。
检测光线变动会耗费肯定的计算资源，这将减慢处理速度并引入额定的提早。除此之外，检测算法很简单，它的判断可能会出错。思考到这些限度，咱们决定防止检测帧间的光线变动。
5、对图像噪声进行激进解决
图像噪声是图像增强中的一个经典问题。市面上有各种解决图像噪声的算法，咱们在通过全面的试验和比拟后总结出以下几个准则：
- 当咱们增亮无效区域的像素亮度时，须要尽量避免放大图像噪声。咱们通过设计简单的算法来检测图像噪声，并以不同的形式解决它们。
- 尽量不要做图像噪声克制，因为这是一项沉重的计算工作，也会减慢处理速度。此外，处理结果很可能不会令人满意。
- 如果有必要，采取一些激进的措施来克制图像噪声。例如，为了克制噪声的中一个像素，你能够用它四周像素的光照度的平均值来代替它。
五、总结
ZEGO 即构科技低照度解决技术可能智能感知环境光洁水平，并智能调整图像亮度到合乎人眼舒服水平，所有以合乎用户的感知为规范进行暗场景智能化调整。点击即构低照度加强
将来，即构科技视频算法团队也将持续深刻用户需要，致力为用户提供更加舒服的视觉体验！