关于前端:有的放矢远程操控中实时音视频的优化之道

1次阅读

共计 3524 个字符，预计需要花费 9 分钟才能阅读完成。

点击一键订阅《云荐大咖》专栏，获取官网举荐精品内容，学技术不迷路！

5G 近程操控场景，对实时音视频传输的时延、卡顿率和抗弱网等指标都有着十分高的要求，本文将会介绍如何联合 5G 网络特点，在实时音视频通信链路中进行联结优化，满足行业场景远控需要，升高画面时延。

在上一篇文章中，咱们介绍了近程操控的技术要点。从这一章开始，笔者将会顺次介绍近程操控三大技术的利用及优化重点内容。本文就将会以实时音视频通信技术开始，其次要被用于解决近程操控中被操控设施或车辆周边环境画面和声音向远处管制端的实时传输，不便近程驾驶员或操控员可能清晰地理解被控设施周遭状况，从而进行针对性操控。比方车辆后退中后方和侧后方的画面，挖掘机作业过程中的抓臂画面都须要通过实时音视频技术进行近程传输。

为保障操控的实时性和流畅性，相比声音的传输，近程操控次要对画面的传输有十分高的要求，针对画面时延、卡顿率和抗弱网能力等外围指标更是如此。以低速近程驾驶场景为例，时延须要小于 200ms, 尽量能靠近 100ms，卡顿率最好低于千分之 2，可能抵制极其状况下与均匀 RTT 时延相当的网络稳定和 20%-30% 左右的丢包率。这些指标的要求往往显著高于此前的近程会议、直播、监控等利用场景，而对于实时音视频技术来讲，升高时延，与升高卡顿率、进步抗弱网能力往往是互相矛盾的，因而这是一个十分大的挑战。

下图是一个典型视频传输链路的示意，次要由采集、编码、发送、传输、接管、解码、渲染等次要模块形成。

采集：从相机中采集出原始的图像帧数据

编码：对采集的原始图像帧进行编码

发送：对编码后的视频帧进行打包发送

传输：将打包后的数据从网络中传输

接管：接管打包数据并复原出视频帧

解码：对视频帧进行解码复原出原始图像帧数据

渲染：对原始图像帧数据进行渲染输入到屏幕

实时音视频通信中，次要承当抵制网络稳定、升高卡顿率责任的是接管模块中的 jitterbuffer，同时它也是时延的次要贡献者之一。不同我的项目中 jitterbuffer 的实现略有区别，但基本上都会有乱序排列、帧检测、帧缓存等性能。jitterbuffer 次要负责正确接管视频帧并适当缓存，在确认达到可解码条件后，依据预估的帧间提早（两帧接管时间差 - 两帧发送时间差）平滑后，送入到后续的解码和渲染模块。这样即便网络有肯定稳定，因为 jitterbuffer 的平滑，相邻的视频帧仍能够靠近冀望工夫距离渲染，从而晦涩播放。通常为应答丢包、乱序和时延抖动，网络 RTT 和时延抖动越大，须要的 jitterbuffer 也越大，这时因为缓存的增大，视频时延也会相应增大。这就是三大指标之间矛盾的基本由来。

除了接管模块外，咱们再看看其余模块的状况。随着芯片计算能力日益晋升，编码、解码、渲染等模块的时延曾经很小，根本都在 10ms 以内，甚至能够做到 5ms 左右，可优化空间不大，对三大外围指标影响较小。采集和传输模块的时延，次要受内部客观条件影响，前者取决于相机，后者取决于网络。发送模块会对数据传输的丢包、时延和抖动产生影响，从影响接管成果。因而为达到三大外围指标，须要做出针对性优化地次要是发送和接管模块。通过发送模块的优化，在保障卡顿率和抗弱网能力的根底上，尽量升高接收端 jitterbuffer 的大小，从而升高时延。

对于发送和接管模块的联结优化，不同我的项目的实现不尽一致，复杂程度和成果相差也较大。上面是一个实时音视频通信架构中较为简单的发送和接管模块实现示意。腾讯近程操控产品中实时音视频通信也是应用了这样的形成。

发送模块次要由封包协定、拥塞管制、发送窗口、过错编码等形成，其中为进步传输的效率和抗弱网能力，封包协定通常都是基于规范 RTP 协定，底层采纳 UDP 协定。拥塞管制次要是对网络状态进行预计，为发送 pacing 窗口和码率提出倡议。过错编码，次要是为了抵制 RTP 包的丢包，进步前向纠错能力，这样局部丢包能够通过过错解码进行复原而不依赖重传。

接管模块中 jitterbuffer 波及的乱序缓存、帧检测缓存和帧缓存外，还有拆包、过错解码、链路状态预计反馈等模块；其中链路状态预计反馈，次要是用来预计链路的丢包、时延和时延抖动等状况，用来领导 jitterbuffer 大小设计，并给发送端拥塞管制提供参考。

下面提到，优化的目标是升高 jitterbuffer 大小，而帧间时延稳定是影响 jitterbuffer 大小的外围因素。除网络本身稳定外，丢包重传是时延稳定峰值的次要贡献者。因而发送和接管联结优化首先要思考的是升高丢包重传。腾讯次要是在拥塞管制、过错编码上，针对 5G 远控场景做了更好的优化，升高了丢包重传的概率。

拥塞管制 ：目前常见的用于实时音视频的拥塞管制办法中，较好的有 BBR、GCC 等。

BBR 次要是基于网络的时延带宽积，别离探测网络的最大带宽和最小时延，并认为两者乘积是网络上可能承载是数据最大容量，其长处在于能够抵制随机的网络时延和丢包稳定噪声，毛病在于最小时延测量时会升高吞吐，对于突发的网络好转，须要更长的工夫能力降到理论带宽。而且 BBR 最后不是针对视频传输设计，在实时音视频中的利用教训比拟无限。

GCC 是同时基于时延拥塞管制和丢包拥塞管制，并取两者最小值。在时延拥塞管制中，为平滑网络稳定噪声对提早梯度预计的影响，GCC 中应用了卡尔曼滤波器来进行解决。GCC 长处在于能够同时兼顾时延和丢包，并且有较好的理论利用教训。

过错编码 ：在网络传输中，丢包模型能够了解为是一个删除信道，数据包在传输中会被随机删除。因而能够应用实用删除信道的前向纠错编码（FEC），通过减少包传输时的冗余数量来复原丢包。思考纠错性能和计算复杂度，音视频传输次要应用线性分组码，罕用的有异或编码、RS 码等。因为 FEC 在设计时，次要是面向随机谬误，在较短的编码长度（编码包数量）下，这种形式能够抵制肯定水平的随机丢包。但对于拥塞或网络品质降落导致的突发丢包，较短编码长度仍无奈抵制，这时传统会通过减少包之间的工夫距离，并且减少编码长度，来抵制突发丢包。

在 5G 远控场景中，网络时延中 5G 空口的时延和稳定占比拟大，而 5G 空口的网络模型与传统路由器有肯定区别。传统路由以拥塞丢包为主，本身不带重传；5G 空口过错丢包和拥塞丢包都有，自带肯定重传；传统路由时延回升次要由拥塞导致，5G 空口因为资源调度周期，也会呈现肯定水平时延稳定，特地是针对上行数据传输。5G 空口的带宽跟信噪比和空口负载无关，会随工夫变动；传统路由的带宽绝对固定，次要受网络负载影响。

路由器与 5G 空口网络特点比照

拥塞管制的优化 ：能够看出 5G 空口网络与传统路由存在较大区别，面对资源调度周期引起的时延抖动和信号品质带来的带宽稳定时，BBR 拥塞管制适用性无限。思考到 5G 空口中信号品质会导致网络带宽变动较大，因而能够在 GCC 时延、丢包拥塞管制的根底上，减少基于空口信干噪比和网络负载预计的拥塞管制，这样对于 5G 空口网络变动具备更快地反应速度。同时能够批改 GCC 中时延梯度预计用到的卡尔曼滤波算法，更好平滑资源调度周期带来的时延梯度抖动。

过错编码的优化 ：基于 5G 空口网络特点，能够看出 5G 空口因为本身带重传，丢包产生概率较少，能够应用较短的编码长度抵制随机产生的丢包。5G 空口中突发丢包的产生往往是因为 5G 空口信号品质下忽然降落导致，这种深衰败的周期通常跟移动性有肯定关系，挪动速度越快，周期越短，低速挪动时在 10ms 左右。传统的通过简略引入更长包距离和减少编码长度的形式无奈有效应对，而且会减少发送数据量，导致丢包好转。配合基于空口信干噪比的拥塞管制预计，能够即时预知这种突发丢包，通过降低码率，缩短发送工夫，而不减少编码长度，缩小突发丢包概率。同时能够引入分组交错的形式，将编码进行交错，肯定水平抵制突发的丢包。

总体上，5G 远控场景对音视频的时延要求是十分高的，尽管通过联合 5G 网络特点，在发送和接管进行了一些联结优化，能够满足一些中低速行业场景的远控需要，然而离行业现实的 100ms 指标还是会有一些挑战，特地是在跨区域的远控场景。将来还须要更多地引入联合网络的一些联结优化的伎俩，另外也能够思考在相机采集、编码上进行更多的开掘，以尽量晋升端到端成果。