转码

编者按： AI技术的落地是慢慢地从服务器端、云端落地，逐渐到挪动端及边缘设施上。这些年随着AI技术的提高，轻量级算法模型开始在挪动端实时跑起来，并且挪动端算法也在一直进行迭代和欠缺，而对于实时直播场景，也有越来越多的AI算法落地。ZEGO即构科技提出了一套极轻量级AI算法模型，联合挪动端硬件个性，差异化优化前馈推理库，让算法模型、推理库、硬件成为一体，使得视频云转码挪动端化成为可能。LiveVideoStackCon 2022音视频技术大会上海站邀请到了即构科技的李凯老师，为咱们分享产品架构、挪动端视频转码、挪动端智能视频解决、四位一体网络模型设计以及具体实施Demo。 文/李凯 整顿/LiveVideoStack 这是我第二次在LiveVideoStackCon分享，第一次时自己肚子还没有这么大，疫情三年肚子长大了，但咱们的模型会变得越来越小、越来越快、成果越来越好，这就是“更快、更好、更低、更广”。 快 —— 速度越来越快，好 —— 成果越来越好，低 —— 消耗很低的码率，广 —— 尽可能笼罩更多的机型。已经在云端转码遇到大批量的工作，本次探讨在挪动端如何解决，分享内容更偏重在挪动端如何把工作疾速跑起来，把服务器端的事件放在手机端做，对 ToB 厂商的用户来说是十分开心的。 本次分享按以下方向逐个开展：一是 ZEGO 产品概貌；二是要在挪动端去做的理由，这是帮忙解决客户提出的需要问题；三是在挪动端能够做到哪种水平，能不能面对用户提出的刻薄需要，解决客户问题；四是如何解决行业内难题，这是任何一个做音视频厂商、做视频前后解决都手不释卷谋求的问题；五是简略试验后果分享。 1、产品架构 产品利用方面，会议端的小艺帮次要针对考试类的利用；直播类有游戏直播，KTV唱歌等；计划有社交娱乐、泛娱乐、以及这几年很火的在线教育。目前也会给小艺帮考试类的做利用，不限于在线教育的计划。咱们同时会提供根底技术服务，比方视频转码、画质加强、美颜特效、Avatar 元宇宙底层技术、背景宰割等。  1.1视频解决 本次分享的重点是视频解决。上图是咱们很直观的数据。 在 iPhoneXR 这样的中端机型上，超分辨率 640480 两倍率做 AI 超分到 1280960，21ms 能够搞定。同时也测试了安卓机型，大略能够笼罩 2500 款，1000 元以上机型根本可能笼罩。如果机型好一点，超分到 1080p 没有问题，但国家政策激励出海去东南亚、印度、非洲。这些国家市场十分大，但最大的现状为使用者大多为千元机以下，这就面临一个很大的难题，千元机难做超分。 去编码速度比超分速度快很多，超分人造的数据量很大，不能把图片放大，将图片原始分辨率不做改变的状况下放大。去编码效应的劣势在原始分辨率上做，处理速度比超分快很多，根本可笼罩千元机。而在印度、东南亚、非洲这些带宽很低的中央，这时做去编码效应比超分，更具理论价值。 最难的点是视频插帧，两帧插一帧，根底数据是在 IPhoneXR 上 960*540，32ms，这一部分仍然面临难笼罩千元机，也是咱们始终去谋求的点，后续能够演示插帧在挪动端上手机具体成果。 随后也会与大家分享如何实现低照度加强，大家也能够跟着这个思路复现低照度加强，速度能够笼罩到 2ms，很低端的机型例如 2015 年的机型小米2S，2ms 能够实现。情理很简略，就是 3D或 2D 查找表，十分快，成果在最初一部分演示。但低照度会有个问题，这也是业界难题，在极度暗的状况下呈现噪点放大。那咱们为什么走低照度加强？ 给大家讲个小故事，咱们有一个东南亚客户之前提出需要，“须要 1280720 的分辨率，要求 30 帧率不能降落、灯全关掉、手机屏幕亮度调到最低，但对方能够清晰看到我的脸”。在与客户沟通时，问能不能把屏幕亮度调亮一点点，对方不乐意，他就须要这个成果，但咱们致力帮忙其解决问题他还是很开心的，尽管不能否定会给他带来噪点问题，但亮度调高一点点，噪点问题将被适度放大。如果应用长曝光 1280720，帧率很低，长曝光只能 10 帧，用户做很多动作想要 30 帧，也会不开心。 1.2其余AI技术产品 技术人员要常常与销售打交道，面对一线用户，技术人员就能理解是否要解决此问题，晓得需要在哪儿，做的技术有无价值。当然咱们也会做其余的利用。一是抠图，其中有隐衷反向打码，例如小米摄像头监控性能，老人在家监控但不释怀，就能够把老人反向打码，将老人虚化而背景不虚化，或只虚化老人身材的一部分，反向抠图，要害看你怎么去做去用。二是小指标检测，已经有用户给一个条件：小分辨率在 640*360，只有 10 像素的手机，考场监控场景下，看拿手机舞弊的小动作是否被检测出。这样的难题是理论中碰到过的很多根底利用。 ...