互动直播、线上会议、在线医疗和在线教育是实时音视频技术利用的重要场景，而这些场景对高可用、高牢靠、低延时有着刻薄的要求，很多团队在音视频产品开发过程中会遇到各种各样的问题。例如：流畅性，如果在视频过程中频繁卡顿，基本上就很难有良好的互动；回声打消，通过环境反射被麦克风从新采集并传输，这也会影响互动成果；国内外互通，越来越多的产品抉择出海，海内外互通也是技术上须要解决的点；海量并发，这对音视频产品的抗压能力而言是很大的挑战。
5 月 29 日，在「QCon 北京寰球软件开发大会」上，由声网 Agora 技术 VP 冯越作为专题出品人发动的「实时音视频专场」，邀请到了来自新东方、伴鱼英语、声网 Agora 的技术专家，与大家分享了下一代视频引擎架构、大规模施行音视频零碎的难点与跳转、语音测评及本地化实际、前端音视频播放器的钻研与实际等话题。
01 声网下一代视频引擎架构摸索
随着音视频技术疾速倒退，音视频实时互动在多个畛域（社交娱乐、在线直播、医疗等）中都失去了宽泛的利用。同时随同着 AI 技术在图象处理中的疾速倒退，交融了 AI 算法的高级视频前解决性能也失去了越来越多的利用。场景的丰盛多变对下一代视频灵便可扩大性能提出了很高的要求。
声网 Agora 负责下一代视频引擎架构设计的架构师李雅琪首先为大家带来了对于《声网下一代视频引擎架构摸索与实际》的分享。
为了能更好地满足对于视频体验的场景丰富性、用户差异性以及对直播体验的需要，声网将下一代视频解决引擎设计准则和指标总结为以下四个方面：
1、要满足不同的用户对集成的差异化需要；
2、要做到灵便可扩大，能够疾速的撑持各种新业务和新技术场景落地；
3、要做到疾速牢靠，对于视频解决引擎外围零碎要提供丰盛弱小的可能，且可能极大地升高开发人员心智累赘。
4、要做到性能优越可监控，要继续优化视频直播解决引擎性能，同时进步监控伎俩，实现品质数据通明。
针对上述四个设计指标，声网具体采纳了哪些软件设计的办法呢？
因为引擎的使用者是人造分层的，一部分使用者要求低代码疾速上线，须要引擎尽可能提供贴近他业务的性能的 API；而另外一部分用户，心愿引擎能够为他们提供更多的外围视频解决能力，在这之上能够依照本人的需要定制视频解决业务。因而，依据这个用户状态声网也采取了业务组合加外围性能的分层业务设计，High Level API 面向业务提供易用性，Low Level API 提供外围性能和灵活性。为了把灵便编排能力作为视频解决引擎的能力凋谢给开发者，让开发者能够通过灵便自在的 API 组合，依据不同的业务需要进行灵便编排，声网的视频解决引擎外围架构采纳了 Microkernel Architecture 的架构模式，拆散了整个引擎的变量和不变量。通过微内核的架构模式实现灵便可扩大的指标: 各个模块性能能够疾速扩大，视频解决管线也能够通过搭积木式的组合来实现业务的灵便编排。
如果咱们没有一个稳固牢靠的外围零碎，一个开发人员要从零开始在视频解决管线上开发一个美颜插件，须要思考其本身业务逻辑以外的很多问题: 模块的地位、数据格式转换、线程模型、内存治理、属性配置等问题，针对这一系列工程相干的集成问题声网将解决方案固化到底层外围零碎当中，为用户提供了丰盛弱小的根底性能。这套视频引擎外围零碎包含了根底视频处理单元、管线搭建和管制、视频根底格局算法反对以及零碎基础设施等性能。有了这个外围零碎，集成就会变得非常简单，插件只有依照外围零碎接口协议约定，实现相干的封装接口就能够了。丰盛弱小的外围零碎性能极大地升高了模块开发者的心智累赘，从而帮忙开发者晋升整体的研发效力。
在性能优越可监控局部，声网优化了挪动端数据处理链路，拆散了管制面和数据面，晋升了整体数据视频的传输效率。另外还构建了视频解决个性相干的内存池来升高系统资源耗费。最终实现了全链路视频品质监控机制，使视频优化性能达到闭环反馈的成果。
02 自研大规模实时音视频零碎的难点与挑战
来自声网 Agora 的行业架构师董海冰作为 RTC 畛域的长期深耕者在大会中为大家遍及了 RTC 相干的根底概念，同时也详细分析了 RTC 的场景特点以及在自研过程中的架构设计和难点。最初，对于 RTC 将来的倒退方向也分享了他本人的认识。
相较于传统互联网应答大规模、高并发曾经较为成熟的解决方案：缓存、异步、分布式，实时音视频畛域所面临的挑战其实会更为简单。“实时”要管制在 1 秒以内能力叫做“实时”。比方做缓存，其工夫都是秒级别的，或者分钟级别的，很少呈现毫秒级别。实时音视频（RTC）在应答大规模、高并发场景时，须要思考到音视频品质、流畅性、低时延、可伸缩以及可用性等问题，这是做实时音视频和传统互联网很不一样的中央，也意味着其解决方案也会更为简单。
在开发过程中，用户常见的挑战有开发成本、网络搭建、品质监控、音频解决和最初测试等问题。在分享中，董海冰就举了一个音频自研的例子。首先，音频传输最要害要解决的问题有 3 个：无声 / 声音小、回声、噪声 / 杂音。其次，弱网反抗能力也十分重要，在网络发生变化的时候，怎么通过码率和帧率调整可能缓解变动，同时要解决在智能路由算法外面实现最优门路的抉择与传输等问题。另一个挑战就是多维度的品质评估，而且要做到实时化的评估，同时和动静调整造成一个闭环，这样才是最好的形式，可能在弱网反抗外面起到比拟好的作用。而对于应用开源服务端的难点，董海冰也对几个常见的计划（Jitsi/Jitsi VideoBridge、Kurento、Licode/Erizo、Pion、Janus）进行了探讨与分享。
除了服务端的开发，实时音视频的运维及品质监控也与传统的互联网形式有些不同。比方在运维方面，除了常见的容灾布局、容器化部署、自动化运维、性能剖析及日志零碎外，实时音视频中的运维还须要面对寰球网络（跨区域、跨运营商）、Lastmile 策略等挑战。
如果用户抉择了自研的形式，可能还会面对大规模连麦、RTC 录制 / 回放计划、经营老本的管制等问题。但即使咱们须要面对和解决如此多的艰难和挑战，不能疏忽的是实时音视频技术正在被利用在越来越多的场景下，也领有着越来越多的可能性。
MetaVerse 译作元宇宙，是近期比拟热的一个概念。在现实生活中咱们能够把它了解为是一种角色转换，在虚拟世界中是另一种全新体验，实现多种虚拟世界角色的切换。VRCHAT 也是相似的，通过 VR 来做社交或者娱乐，帮忙大家进行更好的线上交互，这很可能是将来互联网的倒退和摸索的方向。董海冰提到，作为自研团队不能闭门造车，要紧跟时代脉搏和行业发展趋势，尽可能把本人的力量投入在本人外围业务和善于的方面，大家一起把实时音视频这个畛域做得更好。
03 新东方云教室 Web 端音视频播放器实际
线上教育应该是近两年大家最为相熟的实时音视频利用场景之一，此次专场，咱们邀请到了来自新东方云教室前端交互架构师李便茹为大家分享新东方是如何实现线下到线上疾速迁徙的最佳实际。
新东方在 18 年底开始做本人的云教室，2020 年过年期间一个礼拜，做到了从撑持万级的并发跃进到了撑持 30 万并发。
新东方云教室是一套残缺的在线上课解决方案，提供 saas 服务，其显著的一个特点就是更新迭代的节奏十分快。如果在端上做原生开发，比方与 PC、Windows、挪动端与安卓和 iOS，那么更新迭代肯定是赶不上节奏的，因而他们将策略定为客户端内嵌 H5 页面，除实时音视频外，交互性能根本由 H5 实现。Web 适配到各个端，这就是最快的开发模式。
实时音视频（RTC）延时是百毫秒级，最多不会超过 500 毫秒，人耳是根本感知不到的。在线上教育中会有小班课和大班课两种不同的场景。小班课对于低延时的实时互动要求就会比拟高，但对于一些大学的课程和讲座，或是名师公开演讲的大班课场景如果用 RTC 的话，老本其实绝对就会较高一些了。针对大班课，新东方云课堂采纳了 H5 超大班型的办法，反对百万人同时上课，老师端用 RTMP 推流，学生端仍然走 HTTP 拉流。
Web 直播播放器架构图
对于将来可扩大局部，如果云教室的视频编码采纳 H.265 的规范，那么压缩就会比 H.264 小一半，网络压力就缩小了很多。H5 领有利用范畴宽泛且反对跨平台的劣势，可能实现同一套计划适配不同客户端，疾速开发一套产品，就可能疾速上线。自研通用播放器能够更改输出源流，定制化或者快开发。
04 语音测评和本地化
为了能够更好地提供教育服务，近两年在线教育平台也联合深度学习实现了许多新的性能，语音测评就是其中一项，尤其在英语教育中少儿书面语的测评次数需求量微小。如何升高测评时延，晋升评测服务的体验，同时升高服务器压力和老本？来自伴鱼技术中台 AI 算法负责人黄智超分享了《语音测评和本地化》。
语音评测是通过机器代替人工，为少儿书面语发音进行智能打分的一项性能。语音测评在伴鱼的实际，次要包含算法和框架抉择、声学模型训练、成果和速度的优化。算法方面，伴鱼抉择的是用深度神经网络和隐马儿可夫，次要起因是深度学习框架目前十分成熟。而框架抉择是 kaldi，语音界应用人数最多，而且资料齐全。
深度神经网络和隐马尔可夫算法 (dnn + hmm) 的测评过程如上图所示。首先要训练一个 dnn 声学模型，训练 hmm 拓扑参数，训练完之后，咱们会对输出的文本进行构图，对音频进行特征提取，而后通过声学模型。通过一个打分模型后，得出句子得分。
在这个过程中，数据筛选、声学模型的训练、评测准确率的优化都是要害。黄智超在之后的分享中还具体分享了伴鱼的语音评测在本地化的过程中模型体积优化、测评服务鲁棒性，以及如何解决异样 Case 剖析艰难等问题与教训。
为了让大家能更便捷且深刻地理解到实时音视频开发的“台前幕后”，咱们后续将会对本次专场的所有内容进行更为具体的整顿与解读，详情可点击【浏览原文】，关注社区最新动静！