共计 2372 个字符，预计需要花费 6 分钟才能阅读完成。
voip
基于 IP 的音视频传输是一种实时视频通话技术，经由 Internet 协定来达成音视频通话，以及多媒体会议。VoIP 可用于包含 VoIP 电话、智能手机、集体计算机在内的诸多互联网接入设施，通过蜂窝网络、Wi-Fi、同轴电缆、光纤等设施进行信令传输、音视频通话、发送短信，以及局部管制信息的传输。
背景介绍
一旦移动电话或者监控设施链接网络时，因为互联网的异构和各种媒介的传输效率的递加，必然呈现网络传输中音视频数据包的失落，因此间接影响用户的感官、以及主观体验。在 TCP 中有 ack 反馈进行验证包的完整性，而在 UDP 中减少 NACK 进行丢包的确认和判断，以及 RR 和 SR 相干的报告用于统计 RTT 相干数据。WebRTC 横空出世，以及自带的 JitterBuffer 和 NetEQ 的实现，让音视频 UDP 的传输有了足够的保障。
2020 年声网的 RTE 大会，有幸参加线上分享，学习到很多内容，其中音视频实时传输分会中提到的优化项，以及声网优化的后果对本人留下深刻印象。以下介绍一下过后看的 PPT，以及看完之后学习实时音视频之后针对性优化相干内容。
数据驱动
来自北京大学王选计算机所的张行功老师介绍《数据驱动的实时视频传输技术》一章节。在互联网发达的当初，实时视频无处不在，包含不限于视频会议、视频直播、VR/AR、360°全景视频、以及音视频监控，音视频通话等。
然而实时视频传输面对很多挑战，包含：网络限度、不同网络之间传输提早、抖动比拟大，网络切换或 4G 网络丢包比较严重，视频传输品质低，容易卡顿、马赛克、黑屏、绿屏等景象，间接影响用户体验。TCP 尽管能够解决一部分问题，然而对于网络敏感水平却有待增强，同时会有肯定提早，不利于实时传输。WebRTC 的衰亡，能够解决大部分问题，包含基于丢包和时延的控制器，能够极大水平缓解。同时强化学习的引入进一步提高问题的解决能力。之后 BBR 模型对于传输提供很好的解决，包含低提早和高带宽。然而依然是基于 RTT 的模型，并没有公平性参考，适应性没有那么强。同时 BBR 是基于探测的形式，对于网络探测是滞后的。
参考模型
而张老师团队提供的将数学模型与统计模型联合的 CC 提供了一个很好的思路。包含以公平性为指标函数的数学模型 + 无模型网络状态的统计模型联合，如下图所示：
该模型次要指标就是为了解决两个不可知和一个滞后的问题：包含用户不可知，网络状态不可知，以及网络情况反馈滞后。
优化晋升
学习借鉴相干教训之后，对我司产品进行了优化，次要包含以下几局部：
第一步欠缺测试环境。因为我司产品大部分条件下都是有线连贯形式，而且有些是光纤染指，网络环境绝对比较稳定。所以在 Android 和 linux 产品中减少反对 Traffic Control 命令的形式进行数据发送端的网络模仿。TC 能够反对丢包、网络抖动、提早、带宽限度等多种形式，能够最大化靠近实时网络环境，进一步晋升实验室模仿的准确度和测试方法。为之后弱网优化提供更加健全、不便的测试伎俩，并且联合 TC 命令，实现测试 APP 的开发，能够联合命令进行随便设置，实现无开发教训的测试小姐姐也能够得心应手的测试验证。
第二步晋升弱网反抗技术。我司产品沿用比拟晚期的 WebRTC 版本，绝对于最新的曾经无奈抗衡，然而为了稳定性，只能进行局部性能逐渐优化，压测之后再上线，因而减少软件工程师的保护难度。咱们学习最新的 BBR 模型，以及张老师提出的数据驱动网络模型，优化了网络探测的精度，同时开启 FEC 和 NACK 同时工作的机制，针对 JTB 中局部流程进行判断条件优化和更改，晋升了解决效率。将原先公司 VGA 模式下 TC 设置 20% 丢包率就卡顿无画面，晋升到 720P TC 设置 30% 能够晦涩播放的体验改善。相干算法通过一个多月质量部压测曾经上线，成果晋升显著，失去用户的赞叹。在和竞争对手的侧面 PK 中，因为我司产品弱网视频品质较好而博得客户的单干机会，并且签订长期备忘录。
第三步 H264 编解码参数的调整。因为 H264 编码参数的不同，对于编码后码率的影响十分大，因而联合硬件厂商的撑持力度，以及软编软解的优化，咱们对局部编解码参数进行了调整和优化，包含 CABAC 和 CAVLC 的抉择（之前厂商提供的接口中就有，然而原先设计开发的大佬们没有用到这个参数），包含码率控制参数的调研和更改，包含 IDR 和 Intra-Refresh 参数的引进和优化，包含接下来要和厂商对接的 LRT 和 SRT（长短参考帧的适配）等。适当微调编解码参数，在不影响视频品质和用户主观感触前提下，能够把编码后的码率管制在最优的状态，对于条件较差的网络环境压力就加重很多，从而最大水平上在源头上节俭码率、晋升编码品质，全力保障用户体验。
问题和指标
以上三局部内容是咱们最近在做的优化和晋升，然而相干内容对于丢包和提早反抗还能够，然而抖动十分重大时，就无能为力了。因为我司产品 WIFI 模块能力受限（老本考量问题）导致 wifi 传输数据时，抖动十分厉害，而且有肯定丢包率，该硬件性能间接导致咱们钻研的弱网反抗体系成果欠佳。除了更换更加稳固更加牢靠的 wifi 模块之外，高抖动也是咱们弱网反抗团队接下来要面对的挑战。
下一个研发周期，咱们持续放弃学习，钻研，认真查阅材料尝试深刻了解张老师团队提出的数据驱动的相干模型；尝试联合本身设施环境和应用场景，造成自主研发的数据模型进行网络情况探测、拥塞管制和网络灵活反馈体系，进一步晋升 WiFi 和 4G 链接模式下更加牢靠、高质量的视频传输，为公司产品的推广提供无力的保障。
结语
路漫漫其修远兮，吾将上下而求索。实时音视频传输的弱网反抗是一个长期的过程，咱们将敢于尝试，学习借鉴，不敢保障行业当先，然而提供完满的实时视频通话质量是咱们团队的指标： 毕竟今天获得所有成就都源于明天的不将就。
以上是本人的分享，随时欢迎和大家一起交换探讨，感兴趣的能够一键三联。
