共计 5023 个字符，预计需要花费 13 分钟才能阅读完成。
上半局部内容：海量并发低延时 RTC-CDN 零碎架构设计（上）
低延时 RTC-CDN 零碎的架构
传统 CDN 直播倒退多年，为了优化延时，业界基本上朝两大优化方向：优化传输层协定和在传输层协定的根底上优化应用层协定。
RTMP 和 HTTP with FLV 以及 HLS 底层均应用 TCP 作为传输层协定。针对 TCP 协定的优化在肯定水平上能够达到升高延时的成果，比方应用全链路 TCP 减速计划以及替换应用 BBR 在内的更好的拥塞控制算法。
苹果在 2019 年推出了 LL-HLS（Low-Latency HLS），采纳 chunk 编码传输模式，将提早升高到 3 秒左右。目前基于 TCP 计划的 LL-HLS 和 LL-DASH 计划的极限提早在 2-3 秒左右。
为了优化 TCP 协定，业界在牢靠 UDP 协定上做了很多摸索。随着大家对 Google QUIC 协定钻研的深刻，有不少我的项目和开发者，开始用 RTMP over QUIC 代替传统的 RTMP over TCP。QUIC 是一个十分优良的协定，当初它曾经成为 HTTP3 的标准协议。但 QUIC 作为一种通用协定，它对音视频媒体不敌对，也就是它没方法了解音视频媒体数据的具体含意，它以厚此薄彼的角度来看待这些媒体数据，这也是它不能彻底解决流媒体传输难题的根本原因。
这几年 SRT 也失去了宽泛的利用，SRT 底层应用 UDT 协定，UDT 协定也是一个老牌的基于 UDP 的牢靠传输协定，当然原生的 UDT 传输提早是比拟高的，SRT 在此基础上做了不少的拥塞控制策略的相干优化以升高传输延时。
近两年随着 WebRTC 胜利推广，利用 RTC 技术实现的低延时直播技术越来越成熟，咱们来看看云信 RTC 低延时核心技术要点。
网易云信 RTC 低延时核心技术
• 首先是抗弱网，为了反抗极限场景下 80% 的丢包，像业界罕用的 FEC RED 以及 HARQ 技术大家都很相熟，云信除此之外还利用基于机器学习的 PLC 算来进一步提高音频丢包后处理，并应用长参考帧 LTR 技术进一步升高视频的单帧失落后间断参考导致的卡顿。
• 在去抖动局部，利用 Jitterbuffer 和 NetEQ 技术也是十分成熟的计划，咱们花了很多的精力在做 Jitterbuffer 和 ARQ 以及音画同步模块的配合策略，在抗住 2000ms 的抖动状况下，还须要保障音画通话还是有不少工程方面的挑战。
• 在智能流控局部，首先肯定要有优良的带宽预计和拥塞判断算法，云信这几年对 GCC、BBR 和 PCC 等算法深入研究，交融各算法的劣势，自研了一套稳固牢靠的拥塞控制算法，能够保障带宽利用率在限度网络下达到 90%+；同时流控要做好必须做好全链路的反馈和源侧的响应，云信利用多层 Simulcast 和 SVC 技术减少了减少了调控的维度，同时利用全链路 VQC 技术保障视频全链路的成果。
• 除了端侧的 QoS，云信这几年在服务端全链路分段 QoS 局部也做了很多实际。所谓分段 QoS，其实总结来说就是上行和上行的抗丢包要分段，带宽预计要分段，只有这样能力在服务端上针对每个用户的上行网络做最优的适配。
• 另外，第一公里减速是做好上行 QoS 的重点，包含依据地理位置的就近接入、动静调度以及 MultiPath 的多路径都是很要害的技术。
• 要做好 QoS 一套欠缺的云端下发与自适应参数配置服务是必不可少的，除了适配数千款各机型的参数，还须要做差异化场景的主动适配，各个客户端的差异化能力须要做好能力协商和能力降级，保障各个客户端都能有一个最优体验。
如何构建低延时 RTC-CDN 散发网络
在后面介绍云信的流媒体服务器架构时，曾经提到了云信媒体服务器应用的无向图的拓扑构造，同时为了晋升用户就近接入的成果，云信在寰球各地部署了大量的边缘节点，边缘节点之间利用 WE-CAN 大网的路由节点来保障节点之间的网络传输成果。
惯例的 RTC 房间，为了尽量减少端到端的延时，基本上采纳的是 Full Mesh 的网状拓扑构造，尽量让用户就近接入。然而在房间人数一直上涨，达到万人乃至十万人大房间当前，网状拓扑的散发压力和级联老本都会大大上涨，在这种场景下网状拓扑曾经无奈满足业务的需要。为了解决这种问题，就须要采纳类 CDN 的树状拓扑构造，针对一路上行流应用一棵树来做订阅者的散发。在云信实现的计划中，利用 WE-CAN 大网的路由节点和边缘服务器节点，能够主动适配网状和树状构造，通过流级别的调度策略主动调整每条流的散发拓扑。该计划在低延时直播场景下特地实用，低延时直播将延时管制在 1 秒左右，也为了管制老本采纳多层的树状构造，并做肯定的边缘聚合，在就义肯定“最优接入“的状况下，做到了老本和提早的均衡，同时也满足了低延时直播超大频道的需要做到了有限扩大的能力。因为大网路由节点和媒体边缘节点原来的拓扑组织状态就是无向图，所以人造可能兼容网状和树状拓扑，而且能够复用所有的边缘节点和路由节点，做到最佳的资源利用率，去均衡体验和老本。
低成本
大家或多或少都能感触到 2022 年的互联网多少有点“寒冬将至“的气氛，所以大家对于老本越来越敏感，在我看来低成本次要有两个维度：接入低成本和价格低成本。价格低成本很好了解，而接入老本升高能够节俭人力老本，因而这两个维度总结起来都和”钱“相干。对于云服务提供商来说只有做到了低成本也能力让咱们的产品竞争力进步，让用户更爱用。
接入低成本
直播 CDN 的接入特地简略，究其原因次要有两方面：一个是直播应用的协定十分规范，比方 RTMP、HTTP with FLV 和 HLS 都是十分规范且通用的协定，各个 CDN 产商都反对；第二是有大量优良的开源软件在反对直播，比方大家熟知的 OBS、FFmpeg 和 IjkPlayer 等等。规范的协定和优良的开源软件，都大大降低了 CDN 接入的难度。因而咱们认为低成本 RTC 也须要致力摸索这两个方向。
云信目前在低延时直播场景进行相干方向的摸索和落地，在这里先简略介绍一下云信的低延时直播能力，在推流侧反对第三个推流工具和云信推流工具，将流用 RTMP 或者 WebRTC 协定推到边缘减速服务器，再依据配置如果是开明了低延时能力的就通过 WE-CAN 进行散发，否则就通过交融 CDN 散发。相比于 CDN 直播动辄 4s 以上的提早，低延时直播提早更低，最低能够达到 600ms，同时基于自研的 WE-CAN 寰球智能路由网络，可反对千万级高并发拉流，并且首帧和抗弱网体现劣势显著，让用户用靠近 CDN 的价格体验到 RTC 的成果。
说回接入低成本，从开源和标准协议的角度，云信都做了摸索，首先咱们来看看云信曾经开源的基于 WebRTC 的开源低延时直播播放器，大家能够在 github 上搜寻 LLS-Player（https://github.com/GrowthEase…），找到这个我的项目。
上图是云信开源的低延时播放器的框架。云信低延时播放器是一个传输层的 SDK，最底层是 WebRTC。因为咱们旨在打造一个通用版的 SDK，所以咱们将 WebRTC 全量包入，通过 PeerConnection 层接入，外面是一些次要模块，例如 JitterBuffer、NetEQ、RTP/RTCP、Transport 等。两头是 RtdEngine 层，次要作用是对 WebRTC 进行封装，蕴含 API、引擎创立、信令建连、媒体数据的接管回调等。最上层是 FFMPEG 插件。直播曾经倒退了数些年，各厂商都有一些存量的播放器，市面上大多数播放器都是基于 FFMPEG 开发，为了升高用户 SDK 接入门槛，云信将 API 封装成 FFMPEG 插件，这样只须要在原来的播放器外面就能够实现低延时直播的拉流。
除了开源的低延时直播播放器，云信还反对应用由 Millicast 凋谢的规范信令 WHIP 进行 SDP 协商后向云信音视频服务推拉流。同时，将来云信还有打算开源包含低延时推流插件在内的其它 RTC-CDN 产品。
价格低成本
这个章节是各个产商的外围，如何优化老本，我这里提供几个思路，供大家参考。
• 进步资源利用率——CPU 算力错峰利用率，边缘接入节点复用率，大网外部应用组播来进步带宽复用率。
• 升高带宽开销——各业务带宽错峰（带宽布局），聚合调度，95 峰值老本调度，通过节点的赛马机制去寻找更多优质的低成本边缘节点。
低延时 RTC-CDN 场景化技术实战
• 低延时直播在线教育大班课
大班课大多都是通过传统的直播解决方案实现的，次要会面临两个问题：白板与直播画面的同步以及答题零碎与直播画面的同步，传统直播因为底层传输层协定的固有问题，所以是很难攻坚的；而 RTC 计划虽能解决上述问题，但其昂扬的老本让人“又爱又恨”。因而低成本的 RTC-CDN 架构在这个场景下就演化出了低延时直播的解决方案，去均衡成果（也就是清晰度、端到端延时、晦涩度）与老本。上文曾经分享了低延时直播就是利用了 RTC-CDN 的 QoS 机制、低延时树状散发网络以及低成本计划等，各类技术保障，就是让用户用 CDN 的价格体验到了 RTC 的成果。
• 云游戏
与之类似的低延时直播场景还有“云游戏“，也是要将实时操作与画面做到极致的同步，特地是在云游戏直播的场景下，低延时直播能够大大提高观众侧的体验，当然云游戏除了延时要求以外，还对视频的清晰度和帧率提出了很高的要求，须要在编码策略和 QoS 机制上做更多的适配。
• 直播
除了“云游戏“以外，近两年弹幕游戏直播也作为一种新型的直播状态在不少平台取得成功，弹幕游戏直播人造是与低延时直播场景匹配的，因为所有观众发的弹幕都心愿尽快在直播画面上看到弹幕的后果，须要做到秒级延时的体验。
• IoT 机器人
低延时 RTC-CDN 除了在教育、游戏、娱乐社交等场景失去落地以外，云信这两年还将它利用在了近程操控与 IoT 机器人的场景，所谓近程操控其实就是利用低延时流媒体技术实现对设施的远距离操控。
云信和网易伏羲机器人团队的单干的近程挖掘机就是其中一个落地实际的方向，为了实现近程开挖掘机，咱们须要有一套超低延时的管制信令零碎和超低延时的实时音视频零碎，再配合云端的 VR 渲染。这些超低延时的传输能力，不仅要思考户外网络较差信号较差的状况，还要面临超大流量的上行流量传输，因为同时传输很多个摄像头的数据，很多传统 RTC 的场景下的 QoS 机制还是须要针对性做较多的优化以适配这样的场景。
• 元宇宙
除了挖掘机以外，云信还在近两年特地热门的元宇宙场景进行通用传输能力的摸索。元宇宙现在已成为寰球科技业的下一个风口。在元宇宙目不暇接的各种利用场景中，无论是如电影《头等玩家》中的那种体感交互设施，还是医生利用 VR 医疗，近程做手术，元宇宙强交互的根底是数据的低提早传输和同步。
云信与网易瑶台单干研发的瑶台是国内首批元宇宙落地产品，区别于传统视频会议的出现形式，瑶台更具虚构的沉迷感。去年网易曾将寰球投资者大会的举办地搬到了瑶台虚拟世界，来自寰球几十个国家的 200 多位投资者，通过本人的虚构形象，交换网易业务的最新动静。整个互动场景便是基于网易云信的低延时 RTC-CDN 能力打造。
• MPS 云端实时转码
除了通用传输技术，云信也在摸索通用的远端媒体解决技术，应用云信自研的 MPS 高性能媒体解决服务器，云信可能在云端实现虚拟人、转码、超分、场景渲染等能力，来满足不同客户和场景的理论需要，咱们认为云端的媒体解决构建，也是音视频在元宇宙时代的一个十分重要的组成部分。
总结和瞻望
总结
• 咱们探讨了寰球分布式多单元流媒体服务器架构，利用分层架构和对立调度来反对了海量并发以及流量簇拥。
• 咱们基于多单元流媒体服务器架构，并深度打磨低延时技术，打造了 RTC-CDN 零碎，针对 RTC-CDN 零碎摸索了低成本服务架构，同时拥抱了标准化和开源。
• 咱们利用 RTC-CDN 优化了低延时直播、元宇宙的传输、云渲染以及近程机器人管制等场景。
• 这里咱们对 RTC-CDN 这个新词做一个总结：什么是 RTC-CDN 零碎？就是在一套零碎里同时具备 RTC 和 CDN 的能力，并让 RTC 的接入与应用如 CDN 一样低成本。
瞻望
• 零碎架构的交融和多样性是将来，而全面的 RTC-CDN 时代，应该会在将来几年内到来。
• 将来的音视频编解码还是会一直的迭代翻新，比方 8K 的新一代视频编码器 AVS3 和 VVC 和谷歌基于 AI 的音频编码器 SoundStream。
• 传输技术会持续迭代，不仅是曾经失去广泛应用的 QUIC 和 HTTP3，5G 和 6G 这些底层通信技术也会一直演进，这些都会推动 RTC 技术一直迭代。
• AI 与大数据挖掘，会一直在 RTC 畛域中施展重要作用。
技术是永无止境的，我深信技术是能够扭转世界，音视频畛域将来有有限可能。