共计 3365 个字符，预计需要花费 9 分钟才能阅读完成。
谈起直播，没有人会感到生疏。
自上世纪末，流媒体直播技术衰亡以来，随同着网络基础设施的倒退脚步，直播也同频共振般地起势。而近年来 AI、云计算、音视频等技术日趋成熟，以及新冠肺炎疫情带来的“宅经济”刺激，使直播行业的发展势头被进一步激活。
依据中国互联网络信息中心（CNNIC）公布的《中国互联网络倒退情况统计报告》统计数据显示，到 2021 年 6 月，中国网络直播用户规模已达到 6.37 亿人，直播市场规模靠近 3000 亿元。
直播是个好货色，但直播延时不是
通过网络直播，你能够轻松观看到大洋彼岸正在进行的缓和体育赛事，也能够足不出户就阅尽祖国的大好河山、日出日落，甚至与 6000 万陌生人一起“云监工”火神山医院建设进度，为疫情防控力量点赞。
直播是个好货色，但，直播延时并不是。
或者你曾熬夜守在电商直播间，在秒杀倒计时中，因延时被人姗姗来迟；也或者在上网课时，因延时错过了重要的知识点；还或者在体育比赛关键时刻，因延时被提前“剧透”了后果。
凡此种种的破坏性体验，皆是「延时」惹的祸。
直播体验破坏者：「延时」如何产生？
那么，作为音视频直播体验的破坏者，延时到底从何而来？
与声和光在介质中的收发及传输一样，音视频数据的编解码和传输同样须要工夫。音视频直播的传输链路次要波及 采集、预处理、编码、数据传输、服务器转码、解码 等环节，每一环节都会产生提早。
质变引起量变，当这些散布于各个环节的轻微提早一直叠加，就会造成整体直播的延时，进而折射到用户体验上。
通常来说，整个链路的提早可分为 3 个类型：设施端解决提早、端与服务器的传输提早、服务器间的传输提早。
以快递包裹的物流运输来类比：
- 设施端解决提早：与快递发件前打包和收件后拆包类似，数据也需通过采集端的采集编码、打包发送以及播放端的收包解码、渲染播放。延时与硬件性能、采纳的编解码算法、音视频数据量等强相干。
- 端与服务器的传输提早：与快递员的揽收和派送类似，这里的延时通常与客户端和服务器间的物理间隔、客户端和服务器的网络运营商、终端网络网速、负载和网络类型等无关。
- 服务器间的传输提早：就像快递在各个物流分拨核心、中转站的流转，数据在服务器之间排队、传输、流转，延时与传输门路的抉择无关。
这 3 种类型的提早，除了设施端提早与硬件性能强相干，后两者之和便是业界重点着力优化的“端到端延时”。
低延时直播：强互动场景的最佳解题思路
3~5 秒的延时常见于国内少数的 CDN 直播模式中，这些场景次要采纳 HTTP-FLV 和 RTMP 协定的传输模式，如：游戏直播不强调互动性，关键帧延时通常在 8~10 秒；赛事直播对流畅性要求更高，个别会抉择 HLS 协定，延时会达到 10 秒以上。
随着“全民直播”到来，直播模式和内容也在不断创新，连麦直播、在线课堂、电商直播等新模式不断涌现。采纳 CDN 直播，对这些强调互动性的场景来说，延时超过 1 秒，玩法可能就无奈进行上来了。
那么，实时音视频体现如何？
它能实用于观众与主播频繁互动、对实时性要求高的场景，使二者之间的内容提早管制在 300ms 内，实在还原线下面对面的交换体验。但此计划在网络优化、回声打消等问题上仍然简单，最重要的是实时音视频计划以时长计费，通常实现老本较高。
延时与老本就像是天平的两端：延时越低，计划老本越高，反之亦然。
于是，“优等生”低延时直播提供了一个解题思路，找到了两者之间的平衡点，在可承受的提早下兼顾更强的直播能力，带给用户更佳的互动体验。既能满足主播与观众间低频次的互动需要，使二者之间的内容提早管制在 1s 左右，又能反对百万人同时在线，同时将老本管制于 CDN 和实时音视频之间，使计划的整体老本更加可控。
都是低延时直播，网易云信有何不同？
有需要的中央，就有闻风追赶的人。事实上，在洞察到市场对低延时直播客观存在的需要后，嗅觉敏锐的各大云厂商都陆续推出了各自的短延时、低延时、超低延时直播产品。
纷繁复杂的命名背地，技术到底有何不同？
传统直播畛域存在着三大指标：首屏工夫、提早、卡顿率 。低提早直播技术的难点在于： 如何实现卡顿率持平甚至更优于 RTMP 拉流技术的前提下，大幅升高首屏工夫和提早，从而带给用户更好的直播体验。
工欲善其事，必先利其器。作为网易智企旗下的交融通信云服务专家，网易云信交融了本身在 CDN 和 RTC 畛域多年的技术积攒和教训积淀，联合 WebRTC 规范的媒体流技术，在 首屏工夫、提早、卡顿率 方面做了深度的优化。
- 首屏工夫优化
● GOP 缓存首屏优化
假如用户推流端的 GOP 是 5 秒，在某些状况下，拉流端需期待靠近 5 秒能力收到第一个 I 帧，首屏能力开始渲染。这对强互动性直播场景来说是不可承受的。
网易云信的解决方案是在媒体服务器里进行 GOP 缓存，缓存最近 1-2 个 GOP 的媒体包在 Server 端。当客户端和媒体器媒体连贯胜利后，先发送 GOP 缓存里的媒体包，再发送以后的媒体数据。客户端在收到媒体包后，须要依据肯定的策略对齐音视频包，再减速追帧。
在具体的实际过程中，需注意 GOP 缓存大小、客户端的 Jitter buffer 大小的配合、GOP 缓存里音视频的对齐、不同的推流端不同 GOP 长度的适配等状况。
● Pacer 平滑发送
若推流端设置的 GOP 较大，当拉流客户端媒体连贯胜利后，会一股脑地向客户端发送全副的 GOP 数据，可能会造成客户端缓冲溢出或其余问题。这时 Server 的 Pacer 平滑发送就需发挥作用了。
在具体的实际过程中，需注意 Pacer 的追帧速率与客户端追帧速率的配合。
- 提早优化
● WE-CAN 寰球智能路由网络
直播行业之所以可能蓬勃发展，在技术方面，CDN 厂商的云端能力起到了很大的推动作用。CDN 放慢了边缘节点的回源速度，边缘节点又放慢了拉流终端的接入速度。
为了放慢回源速度，回源媒体服务的抉择会尽可能靠近 CDN 的区域核心节点；为了优化客户端的接入性能，拉流媒体服务器也要尽可能的靠近拉流客户端，因而媒体如何迅速地从回源媒体服务传输给拉流媒体服务就至关重要。
WE-CAN 很好地承当起了职责。作为网易云信自研的大规模分布式传输网络，WE-CAN 通过对各种资源智能调度，来实现寰球任意两个媒体服务器之间的疾速、稳固传输。WE-CAN 起到了比照传统 CDN 更迅捷，更稳固，更智能，覆盖范围更广的减速传输的作用。
- 卡顿率优化
网易云信反对规范 WebRTC 媒体流接入，并通过深度优化 GCC，ARQ，FEC，RED 等各类 QoS 策略达到自适应匹配各种简单网络的能力，在 40% 丢包的状况下，仍然能流畅直播。
No.1：业界首个开源的低延时直播计划
前不久，网易智企公布了“易 +”开源打算，并正式开源网易会议组件，帮忙各行各业用户构建稳固牢靠、高清易用的专属会议零碎。
现在，咱们将低延时直播计划也开源了，并成为业界首家开源低延时直播计划的厂商。
过来几年，中国开源倒退迅速。越来越多的开发者退出了开源奉献行列，以满腔才华和激情奉献技术，推动寰球开源生态的进一步凋敝。同时，高质量的开源我的项目已成为基础设施的重要基石。数据显示，90% 以上的企业业务已构建在开源软件、开源我的项目之上，开源的影响力正以数字量化的模式出现在世人背后。
作为业界首个开源的低延时直播计划，网易云信目前开源了 信令交互协定、低延时引擎、播放器插件。
咱们凋谢了信令交互流程，反对规范的 SDP 协商和 ICE 建连，开发者只需集成一套低延时播放器，就可实现同时对接多家低延时直播厂商，大大减小包体积的增量。
同时，针对低延时直播场景深度定制了 WebRTC 引擎，反对 AAC、B 帧和多 Slice；并对首帧和端到端延时都进行了优化，目前首帧工夫管制在 200ms 左右，端到端延时管制在 1s 以内。
为了不便在现有播放器集成低延时直播引擎，网易云信还开源了基于规范 FFmpeg 插件状态的低延时直播播放器插件，开发者只须要批改大量代码就可让现成的播放器具备低延时直播的能力。
将来，网易云信还会开源低延时直播引擎的裁剪版本，进一步优化包体积和各种播放指标。并持续推出开源的低延时直播推流引擎和低延时推流插件，提供低延时直播的全链路解决方案，进一步升高开发门槛，推动低延时直播行业的疾速倒退。
秉持着凋谢与分享的技术态度，咱们将始终致力于通过高质量的开源我的项目，与行业独特摸索开源的微小社会价值。
直播举荐
5 月 17 日 19:00 网易智企视频号直播
扫描二维码，退出官网【开源社群】！
