共计 3457 个字符，预计需要花费 9 分钟才能阅读完成。
作者：网易智企云信资深音视频引擎开发工程师 王兴鹤
随着 AI 和 5G 的到来，音视频利用将变得越来越宽泛，人们对音视频的品质需要也越来越高，视频分辨率曾经从高清倒退为超高清、VR，视频帧率也已呈现 60fps、120fps 等利用，交互式的利用对端到端延时也提出了更高的要求。与此同时，设施的硬件性能也突飞猛进。能够预感，随着 5G 的到来网络中传输的数据将会出现爆发式增长，大量数据将会给网络传输带来微小的挑战。因而，如何保障用户高品质的音视频体验？传输将会是一个重要环节。
网络中常见的问题有 丢包、抖动、拥塞、延时。以下将别离介绍这些问题对视频体验带来的影响。
视频帧往往是拆成一个个分组包进行传输，当网络产生 丢包 时，接收端无奈胜利组帧，不仅影响这一帧的数据解码，从这一帧开始的整个 GOP 都将无奈解码显示，用户看到的画面将呈现卡顿，直到残缺的 I 帧达到接收端能力复原画面。
抖动 同样是造成卡顿的杀手锏，抖动分为发送数据抖动、网络传输抖动、接管丢包复原抖动。在端到端全链路上，任何环节都会引入抖动而影响画面的流畅性。接收端的 Jitter Buffer 缓冲区负责打消抖动，提供稳固的解码帧率，然而 Jitter Buffer 是就义延时作为代价的。
网络产生 拥塞 时，音视频的播放状况将变得更加顽劣，拥塞造成的间接影响是突发丢包或者突发抖动，如果不及时预测拥塞的发送升高发送数据量，接收端将会呈现卡顿、延时大、画质差等等问题。
产生丢包、抖动、拥塞时往往会随同着 延时 的增大，ITU StandardG.114 对延时的定义是，端到端延时大于 400ms 时绝大数的交互体验都将不能承受。
咱们用 QoE 示意用户在接收端的主观体验，而 QoS 是指通过一些量化指标掂量网络的传输品质并提供优质网络的服务。
那么反抗以上这些网络问题，QoS 都有哪些武器呢?
1 FEC
FEC 是罕用的抗丢包伎俩，又叫前向纠错码，是在发送端额定发送一些冗余数据，用于抵制网络丢包。当接收端检测到媒体数据产生丢包时，就能够利用接管到的冗余数据进行丢包复原。FEC 的长处是丢包复原延时低，毛病是冗余数据占用额定带宽，在带宽受限场景会挤压视频原始码率，导致画量变低。影响 FEC 的丢包恢复能力除了冗余数据数量之外，还跟分组大小无关，分组越大，抗丢包能力越强，然而对应的丢包复原延时也会变大。
分组大小与抗丢包能力示意
FEC 的编解码算法有 XOR、RS 等，掂量 FEC 算法的指标次要有计算性能、抗丢包能力、复原延时。其中基于柯西矩阵的 RS（里德 - 所罗门码）是目前比拟风行的 FEC 算法。该算法联合适合的分组策略在以上三个指标上都有较好的体现。对于不同的利用场景也有不同的 FEC 算法有更好的体现，比方喷泉码、卷积码等等，喷泉码联合接收端反馈机制对无线信道等丢包稳定大的场景有较好的体现。
总的来说，FEC 是一种用码率流量替换抗丢包能力的技术，相比重传 FEC 的长处是复原延时低。FEC 技术的关键点是如何设计正当的冗余策略和分组大小，达到抗丢包能力、视频码率、复原延时三者的无效均衡。
2 丢包重传
有别于 FEC 的抗丢包技术，重传不须要节约太多的码率，只有当接收端检测到丢包时通过反馈给发送端丢包信息（NACK）才进行相应数据的重传，接收端每隔 1 个 RTT 对同 1 个包发动重传申请，直到胜利接管到相应的数据包。重传最大的益处是码率利用率高，毛病是会引入额定的丢包复原抖动从而拉大延时，显然，网络 RTT 越大重传的复原成果越差。
思考到双向丢包的场景，对于同一个包，接收端能够以 1 /2 RTT 距离发送重传申请，以应答重传申请包可能失落的状况。发送端对同一个 seq 的包响应距离依照 RTT 距离管制，避免重传码率过多节约。发送和接管依照以上距离解决重传申请和重传响应，能够在码率和抗丢包能力上达到无效的均衡，实现收益最大化。一个好的重传策略设计还须要思考是否须要容忍乱序，正当管制重传码率。
3 Jitter Buffer
接管侧一个重要环节是 Jitter Buffer。Jitter Buffer 的作用是以最低的缓冲延时代价打消数据抖动，提供晦涩的播放帧率。因为视频是按帧解码播放，所以 Jitter Buffer 的延时计算也是按视频帧为最小计算单元，而不是按视频包，输出 Jitter Buffer 的参数是每一帧视频数据的抖动。造成帧抖动的因素有很多，有采集抖动、编码抖动、发送抖动、网络抖动、丢包修复引入的抖动等，总之，在解码之前的任何环节引入的数据抖动会汇总到 Jitter Buffer 模块解决抖动打消。
无效施展重传的抗丢包能力须要有 Jitter Buffer 的拉伸策略加以配合。因为重传只是保证数据可能达到接收端，此外接收端还须要有足够大的 Jitter Buffer 期待这些晚到的数据帧，否则即使重传达到接收端的数据因为滞后性起因将被抛弃。
重传联合 Jitter Buffer 拉伸策略是一种用延时替换抗丢包能力的技术，其中影响这种替换性价比的关键因素是 RTT，RTT 越小重传收益越大，反之收益越差，更多须要 FEC 实现抗丢包。
4 长期参考帧
除了重传、FEC 等惯例伎俩之外，长期参考帧技术即抉择参考帧技术，是一种网络模块和编码器独特配合实现的技术。在 RTC 场景下个别的编码参考策略是向前一帧参考，因为参考的间隔越近压缩成果越好，出于实时的思考编码只有 I 帧和 P 帧，没有 B 帧。而 长期参考帧是一种可跨帧的参考帧抉择策略，这种策略突破了传统的向前一帧的参考的规定，能够更加灵便地抉择参考帧。
长期参考帧策略的目标是在有丢包的场景下，接收端不须要期待丢包复原也能持续显示画面，其最大的益处是低延时，不须要期待重传复原，然而带来了压缩率的就义，在雷同码率下体现为图像品质的就义，然而这种就义和收益的替换在某些场景下是值得的。此外，常态的长期参考帧技术在抵制突发丢包能力上有很大晋升，当网络忽然呈现丢包，FEC 和重传的立刻复原成果个别是比拟差的，尤其是有根底 RTT 的网络。而长期参考帧能够饶过失落的帧，利用失落帧之后任何一个复原的帧进行解码显示，从而晋升突发丢包时的流畅性。
依据长期参考帧的特点和目标，实现长期参考帧技术利用须要有接收端侧反馈信息，编码器依据接收端反馈的帧信息抉择参考帧编码，在有丢包的场景下，接收端通过短时的帧率就义将很快复原画面。因为存在接管反馈，高 RTT 时反馈延时较大将会导致参考间隔变大，而参考间隔超出了编码器的编码缓冲限度将会导致编码找不到参考帧，所以长期参考帧比拟适宜低 RTT 场景。在多人会议场景中，上行人数太多也会制约长期参考帧的参考帧抉择。
综合来看，长期参考帧适宜 1V1 的通信场景，适宜低 RTT 随同丢包或者拥塞的弱网场景，这样的场景下长期参考帧比传统的向前一帧参考有更好的实时性和流畅性，同时联合重传和 FEC 的抗丢包奉献，其抗弱网能力将大大晋升。
5 大小流和 SVC
长期参考帧比拟适宜 1V1 的场景，而多人场景时，须要大小流和 SVC 发挥作用。
大小流是指上行同时传输两条不同分辨率的流，媒体服务器能够依据上行理论的带宽状况转发相应品质的流，如果带宽足够转发高质量的大流，带宽有余转发低质量的小流。这种大小流机制的益处如下：1）无需调节源端码率就能向媒体服务器提供两种规格的视频码率；2）在上行接收者有不同的带宽时，可灵便转发，防止只有一个编码源相互影响的状况。
SVC 跟大小流的特点一样，区别在于 SVC 提供了不同帧率的可选规格，媒体服务能够抉择不同的 SVC 层进行转发，通过升高帧率达到降低码率的目标。
在带宽有余时，不同用户对清晰优先和晦涩优先的需要不一样，SVC 和大小流提供了灵便的机制满足不同利用的需要。
6 场景差异化
咱们把咱们的利用场景简略地分为两大类，通信场景和直播场景。通信场景简略的比方视频会议、主播连麦交换，在线面试等等，这种交互性的利用场景对实时性要求较高，它的特点是低延时、晦涩优先。而直播场景比方主播直播卖货，老师在线授课，这种场景的特点是大部分工夫都是主播或者老师一个人在讲，因而它的特点是高延时、清晰优先。在这两种场景下有不同的策略偏向，通信场景更多的是用 FEC，重传作为辅助，晋升实时性。直播场景更多是用重传，FEC 作为辅助，晋升清晰度。
结束语
本文次要介绍了反抗弱网的根本 QoS 策略，除了以上技术之外还有很多模块波及到延时、清晰、晦涩三个维度的均衡。很少有一种技术能做到白璧无瑕，鱼和熊掌不可兼得，咱们要做的均衡策略就是舍短取长，趋利避害，在不同的网络条件下，不同的利用场景下，联合每种技术的本身特点，将其进行组合打出一套组合拳，实现受害最大化。