本文次要总结自李超老师的讲 WebRTC 原理的书。有趣味的同学也能够间接看书，书中讲述更具体。
实时音视频通信的指标
对于互动性很强的实时通信场景，比方上课、视频会议等。相比于线上，咱们都更喜爱线下交换。这次要是因为线下交流会更有“真实感”。那么线上交换的“真实感”缺失在哪呢？
次要有 2 个方面：
- 实时性损失。音视频通过网络传输后必然带来延时，这种延时对于一些互动性较强通信场景就是不能忍耐的了。
- 业务数据的损失。这个次要就是因为设施等因素的限度而无奈齐全还原直播现场全副的实在场景，包含现场气氛等。
在此基础上，能够总结出， 实时音视频通信谋求的实质是尽可能迫近或达到面对面交换的成果 。
实时音视频通信的指标
在实时音视频通信的场景中有 2 个指标能够很好的评估通信的“真实感”。一是通信延时，二是音视频服务质量。
通信延时指标
| 延时 | 人的感触 |
|---|---|
| 200ms | 十分优质，如同在一个房间里聊天 |
| 300ms 以内 | 大多数很称心 |
| 400ms 以内 | 有小局部人能够感觉到提早，但还根本能够进行互动 |
| 500ms 以上 | 提早显著，影响互动，大部分人不称心 |
这个表是实时通信的延时指标。能够看到，在须要互动的场景下，提早大于 500ms 以上就会对互动有很大的影响了。
引起提早的因素很多，比方音视频采集、编码、传输、渲染等等这些处理过程都会带来提早。其中，网络传输的提早是最难评估和管制的，因为影响它的因素泛滥，且其变动是动静的。
音视频服务质量指标
音视频服务质量分为音频和视频的，但音频的数据量较小，对网络影响不大，次要影响网络的视频服务质量。
视频服务质量和视频的分辨率、帧率、码率是非亲非故的。在实时音视频通信场景下，头像视频的默认分辨率个别为 640*480 或 640*360，帧率至多是 15 帧 / 秒。在雷同分辨率时，码率越大，视频就越清晰。但码率也会有限度，个别超过肯定阈值（MOS=5）后，再大的码率就没有意义了。
这里简略阐明下，MOS 值是均匀意见值，有主观和主观之分，是用来评估音视频服务质量好坏的。一般而言，5 分示意优良，4 分示意较好，3 分示意还能够，2 分示意差，1 分示意很坏。
个别状况下，以 h264 编码为例，如果心愿视频的 MOS 值为 4，分辨率为 640*480 时须要 1.9Mbps 的码率，分辨率为 1920*1080 时，须要 7Mbps 的码率；而心愿视频的 MOS 值为 3，分辨率为 640*480 时须要 0.5Mbps 的码率，分辨率为 1920*1080 时，须要 2.5Mbps 的码率。能够看到，MOS 值越高，视频品质越好，码率也就越大，须要的带宽也就越多。
因而，要进步实时音视频的“真实感”，就须要尽可能地升高传输的提早，同时增大传输的码率。然而，升高提早和增大码率是矛盾的，除非所有用户的带宽都足够多且网络品质都足够好。
实时音视频通信的主要矛盾
从后面叙述中能够总结出，实时音视频通信的主要矛盾就在于音视频服务质量与带宽大小、网络品质、实时性之间的矛盾。解决这个主要矛盾的办法次要有 5 种。
减少带宽
减少带宽是最无效解决问题的办法，只有用户带宽足够，所有的问题可能就不是问题了。可事实中咱们很少能心愿用户去晋升带宽，且在多用户实时通信场景下，单个用户对带宽的晋升对整体服务而言影响也不大，因为在这种场景下通信服务质量的好坏是由网络最差的那个用户决定的。所以这里减少带宽是指所有用户的带宽都减少。
- 首先，能够期待的是 5G 网络的遍及。这会整体的晋升所有接入 5G 网络设备的用户的网络能力。
- 而后，在客户端方面，WebRTC 反对的选路计划是一个很好的计划，它能够按优先级抉择最优质的网络连接线路。
- 最初，在服务端方面，能够通过提供更优质的接入服务、保障云端网络的带宽和品质、更正当的路由调度策略来提供更优良的带宽。
缩小数据量
当网络带宽无奈减少时，最无效的解决这一矛盾的办法就是缩小音视频的数据量。
通常有 5 种办法来缩小数据量，别离是：
- 采纳更好的压缩算法，比方应用 h265，AV1 等压缩率更高的编解码器。
- 应用 SVC 技术，SVC 技术就是将视频按工夫、空间及品质分成多层编码，而后将它们装在一路流中发给服务端。服务端收到后，再依据每个用户的带宽状况抉择不同的层下发。
- 应用 Simulcast 技术，与 SVC 的分层思维相似，但它的实现更简略。就是将视频编码出不同分辨率的多路码流，上传给服务器。服务器则依据每个用户带宽状况抉择一路最合适的流下发。
- 应用动态码率。当网络带宽评估用户带宽有余时，则减小输入码率；而当评估带宽增大时，则减少输入码率。
- 甩帧或缩小业务。这是一种下下策的办法，只有在用户网络十分差的状况下才可能应用。
适当减少延时
在网络抖动的状况下，应用缓冲队列来平滑解决数据，这种适当减少延时的办法也是能够解决局部业务品质和网络之间的矛盾的。这种形式在 WebRTC 中也是有利用的，比方 PacedSender。
进步网络品质
进步网络品质的前提是网络没有产生拥塞。能够从丢包、提早、抖动三个方面来评估网络品质的好坏。
- 丢包，是完了传输过程中对网络影响最大的指标，优质的网络丢包率不超过 2%。对于 WebRTC 而言，大于 2% 且小于 10% 的丢包率是失常网络。
- 提早，绝对丢包来说对网络影响要小点。如果网络中提早继续增大，则可能是网络中产生了拥塞。
- 抖动，对网络影响最小。个别的抖动都能够通过缓冲队列来解决。
在 WebRTC 中有很多进步网络品质的办法，比方 NACK、FEC、JitterBuffer、NetEQ 和 GCC 等。
疾速精确地评估带宽
只有可能疾速精确地评估出带宽，通常就能无效的防止网络拥塞的产生。目前在 WebRTC 中 Google 最新的 Transport-CC 算法是体现最优良的。
总结
到这里，能够看出，在实时音视频通信中想做到“既要，又要，还要”是十分难的。这里放一张李超老师总结的思维导图一起学习下。