关于直播:得物直播低延迟探索-｜-得物技术

1. 背景

直播的时效性保障了良好的用户体验，依据教训在交易环节，提早越低转化成果也会越好。传统的直播提早问题曾经成为了一个不容忽视的问题，高提早不仅毁坏了用户的观看体验，也让主播难以实时获取到用户的反馈。为了进一步优化直播时效体验，咱们须要对产生提早的起因以及整个交互链路有个清晰的认知，能力稳固的施行相干计划。

2. 主观体验

咱们团队外部察看了其余电商平台的延时，其中 TOP1 的平台，端到端的提早在 3s 左右，而得物在 5s 左右，晋升空间还是比拟显著，咱们须要进一步明确具体起因。

3. 提早升高有什么益处

3.1  晋升交易环节顺畅度

在得物的直播场景中有增加秒杀商品的环节，秒杀商品的倒计时是实时进行的，如果直播画面有将近 8s 的提早能力追上，在这一过程中无论是用户还是主播沟通中都会存在 gap。在直播过程中用户在提早高的场景中发问了然而主播迟迟没有反馈，在这个期间用户有可能退出直播间或者跳过这个商品，这个后果无论是对主播或者是对交易转换都不太能承受。

3.2  晋升体验，不同用户之间提早差异太大

A、B 两个用户可能在看某一个直播间，A 用户可能很早就进直播间了，而 B 用户是新进来的，然而 B 用户的提早却比 A 用户的低了几秒，A 用户看到可能就会狐疑本人手机、网络、APP 是不是哪个有问题，造成不好的体验反馈。

4. 直播提早是如何产生的？

要搞清楚提早是如何产生的，咱们势必要理解到其中哪些程序可能呈现提早，并且是可优化的。

主播 –> 云服务器 –\> CDN 节点 –> 用户

云服务器 –\> 主播: 直播内容转码、压缩等解决

CDN 节点 –> 用户: 直播内容散发到多个边缘节点

用户 –> 设施: 接管直播内容  –\>  显示直播内容

4.1  在这些过程中，可能会产生提早的中央

(局部解释起源第三方文献)

• 主播端所应用的采集编码设施可能存在提早

次要蕴含编码提早以及发送缓存引入的提早，这个环节的提早优化空间不多，尽管通过调节编码器参数可无效升高编码提早，但带来的是画质的损失，同时也影响压缩成果，因而少数集中在优化弱网传输，出发点是为了提供用户观看晦涩体验，而不仅限于升高提早

• 云服务器对直播内容的转码、压缩等解决的工夫

对于直播平台而言，实时转码是十分必要的一项技术。通过对视频流进行实时转码，能够将高清视频流优化为多个分辨率，满足不同终端设备的兼容性和带宽需要，并且减小了网络传输的开销。然而，实时转码过程中必然会带来肯定的提早，这是因为：

1. 1. 转码过程须要对视频流进行剖析和解决，比方压缩、格局转换等。这个过程须要肯定的计算资源和工夫。
   2. 转码后的视频须要从新传输到 CDN 节点中，再由观众设施进行播放。这个过程可能会受到网络带宽、传输速率等因素的影响，导致肯定的提早。

因而，针对转码提早的问题，须要在减小提早和进步视频品质之间进行衡量。采纳一些高级的转码算法、缩小图片品质升高对视频画质的挫伤、优化编码参数等办法，但也同样会带来画质与压缩率的损失，因而这部分提早须要依据理论场景综合来思考，如果对提早要求很高，能够稍微调整下。

• CDN 节点的网络传输提早

不思考回源的状况，这个环节次要影响提早的是 gop cache 策略，各类 CDN 厂商称说都不统一，有的又叫（RTMP、FLV、HLS…）Delay，即在边缘节点缓存一路流最新的几个 gop(个别媒体时长均匀为 5 ～ 7s)，目标是为了在拉流申请建设时，能够有媒体数据即时发送，优化首帧和卡顿，这样也就导致了播放端收到的第一帧数据就是 5 ～ 7s 前的旧数据，第一帧的提早就达到了 5 ～ 7s，这个环节是端到端提早过大的根因。

• 播放器的防卡顿缓存 buffer 固定提早 n(s)

在直播拉流播放过程中，为了进步播放的晦涩度和用户体验，通常进行缓存一部分 buffer。缓存是指在播放器开始播放之前，事后加载一定量的视频数据到本地缓存中，以便后续播放时可能疾速读取缓存中的数据，防止卡顿和不晦涩的景象。这种“预加载”的缓存被称为“缓存 buffer”。

缓存 buffer 大小不同可能会导致延迟时间也不同，常见的缓存 buffer 大小为 2 秒或者更小，这意味着播放器会事后从视频源中加载 2 秒到本地缓存中，等播放器播放到靠近缓存开端时，会再次预加载 2 秒内容到缓存中，以保障播放的流畅性。

固定提早是指播放器在接管到网络数据之后，为保证数据失常播放而须要期待肯定的固定工夫，个别用于避免视频播放过程中的卡顿和不晦涩。例如，如果设置的固定提早为 1 秒，那么从数据包达到手机端再到数据包真正播放进去这个过程，就须要多期待 1 秒左右的工夫，这就是固定提早产生的成果。

通常状况下，播放器会主动依据以后的网络环境动静调整缓存 buffer 大小和固定延迟时间，以保障最佳的播放成果。不过，如果网络环境不太现实，仍有可能呈现视频卡顿和不晦涩的状况，此时能够通过配置和优化缓存 buffer 大小和固定延迟时间来改善播放成果。

• 用户设施的接管、解码等操作产生的提早

假如用户的设施硬件性能较为低端，在接管和解码直播数据时呈现卡顿等问题。为此，能够通过优化码流参数，如对码率、分辨率等进行调节，使其更加适应用户设施的硬件性能；或者采纳尽量少的传输协定，以缩小解码工夫和相干计算资源的应用。

• 综合所述

其中任何一个环节呈现问题，都有可能导致直播过程中产生提早。为了缩小这种提早，能够优化各个环节的解决效率，并优化网络传输等方面的参数和设置。

在直播的传输环节里，对提早影响大的次要是 CDN 的传输、转码、散发和播放缓冲，应用实时的转码模式，转码器引入的提早个别在 300ms 以内甚至更短。CDN 的散发环节也会带来肯定的提早，但绝对也较短。而为了反抗网络抖动引入的播放缓冲区引入的提早播放缓冲引入的提早经常会有 5s 甚至更多。

4.2  如何晓得具体提早？

• 办法一：

采纳端到端的测试方法，即计算 播放端 到推流端 的时间差作为提早。

找一个在线的准确到毫秒的时钟：http://www.daojishiqi.com/bjtime.asp

A. 关上上述网页，推流端对准该网页或者抓取窗口

B. 播放端：到对应直播间观看对应的时间差

对 A、B（屏幕）进行比照，截图计算时间差。

• 办法二：

编码的时候把工夫戳写到 SEI 信息中，播放器通过拉流胜利后解析 SEI 信息而后与以后工夫戳做差值比照。

SEI 须要波及到推拉流侧底层开发，所以暂选的办法一进行测试，测试后果发现现阶段最激进以及疾速的解决形式是间接调整云直播控制台的提早档位。如果要调整提早档位，那势必要理解到调整之后会带来什么影响以及变动，这其中就波及到了 GOP 相干的知识点。

4.3  GOP  以及 GOP cache 是什么？咱们为什么要理解它？

顾名思义 GOP cache，是一组存于 CDN 服务端的 GOP 缓存，GOP cache 越大提早影响也越大。通过理解 GOP cache 咱们能在直播提早链路中能做出更精准的优化。GOP cache 是某一方厂商提出的名词，各大 CDN 的称说也不统一，有的云厂商又称之为（RTMP、FLV、HLS…）Delay。与推流 GOP 或者 转码播流 GOP 配合，就造成残缺的端到端提早。

• GOP（Group of Pictures）

而 GOP 是一组间断的视频帧，通常包含一个 I 帧（关键帧）和若干个 P 帧（预测帧）和 B 帧（双向预测帧）。在直播过程中，如果 GOP 的大小过大，会导致接收端在期待 I 帧的到来时须要期待绝对较长的工夫，这就会减少视频的提早。因而，升高 GOP 大小能够在肯定水平上减小视频的提早。

• 直播控制台的提早（GOP cache）配置门路（域名配置 -> 直播提早配置）选项中抉择

• 推流 GOP & 转码 GOP 关系

<!—->

• • 无转码的状况下，推流 GOP == 播流的 GOP
  • 有转码的状况下，如果转码模板配置了 GOP，则播流的 GOP == 转码配置的 GOP
  • 如果转码模板未指定具体的 GOP，则推流 GOP == 转码后的 GOP

<!—->

• 提早配置的形容，强调的都是推流 gop，是否有误导问题？

不算齐全算误导，一方面不是所有直播流都走转码，甚至批改 GOP。另一方面推流 GOP 对流传输效率可能存在肯定影响。次要形容没有把转码 GOP 的影响和区别包含进去。

• 缓存的单位 duration or size?

得物应用的直播缓存的单位是 duration

在直播提早中，缓存的单位能够是工夫 (duration) 或大小(size)。

以工夫 (duration) 为单位的缓存指的是，在视频采集、编码和推送到云服务器的过程中，视频数据会先被寄存在缓冲区中，期待肯定的工夫（也就是缓存工夫）后，才会被推送到 CDN 散发节点上进行播放。

以大小 (size) 为单位的缓存则是依据缓存容量进行管制，视频在采集、编码和推送到云服务器的过程中，每当视频数据达到肯定的大小，就会被推送到 CDN 散发节点上进行播放。

在理论的直播过程中，通常会综合应用工夫和大小两种缓存单位来进行提早管制。如果对提早比拟在意，能够适当减少缓存工夫和大小，保障接收端有足够的缓存工夫进行播放，缩小呈现卡顿和进展的概率。如果实时性比拟重要的话，能够适当升高缓存工夫和大小，缩短延迟时间，保障直播的实时性。

须要留神的是，缓存工夫和缓存大小是直播平台优化提早的两个关键因素。正当的设置可能显著减小提早，晋升用户体验。但同时，缓存过多或者过少都可能会带来肯定的问题，因而须要依据理论状况进行调整和优化。

• 缓存的 gop 数?

不固定，且没有 GOP 数量的概念，是以时长论大小，取决于 CDN 侧的 buffer，不论 buffer 多大，发送数据是依照至多一个 delay, 最多 delay + gop 发送的，流数据是一直产生新数据的，发送的时候内容一直在滑动。对提早没有间接的影响关系。

• 根底工夫值

RTMP：低（2s）中（4s）高（8s）

FLV：低（2s）中（4s）高（8s）

计算提早形式：[RtmpDelay, RtmpDelay + GOP] 这里的 GOP，转码前用的推流设置的 GOP，转码后用的转码模板配置的 GOP 自定义模版配置的 1080p，gop = 10s = 200 桢  的状况下 实践上最小最大值就上面的几种范畴[2，12]，[4，14]，[8，18]

flv 播放的话，delay 设置 2 秒，gop 设置 1 秒，实践上端到端的提早根本在 3 秒左右，如果码率高的状况下，还得适当晋升 delay 的值保障直播的晦涩。另外除了 CDN 缓存提早以外，播放器缓存策略也须要思考。

如果要实现稳固 2 秒，能够思考超低提早直播的计划。

5. 后续可施行的无效升高直播提早伎俩

• 升高 CDN 正式环境的 gopCache 至低档位

调整完之后端到端提早预计能从 5s-8s 升高至 3s-5s

• 推流 GOP 调整为 1s，均匀端到端提早再降落 1s

实践上来说升高推流 GOP，是对提早有帮忙的，将 GOP 降至 1 秒，则每秒会推送一个关键帧，接收端就能够在接管到关键帧后间接播放，进一步减小提早。同时，因为每秒会推送更多关键帧，对视频的画质和稳定性也会产生踊跃的影响。

推流 GOP 的大小不是惟一的影响直播提早的因素。还有视频编码、推流服务器的    配置、网络环境等因素都会对提早产生影响，因而只有在综合思考到各种因素后，正当设置推流 GOP 大小，才可能最大水平地升高直播提早。

• 减少 buffer 中视频数据的生产速度，无效升高提早，例如倍速播放或者间接丢帧，策略须要更精细化

也就是说减少拉流侧的生产速度，在有需要的状况下配合倍速追桢的策略，放慢视频的播放速度，在某一个阀值中开启或者进行。

推流侧在推流的过程中把关键帧打入工夫戳到 SEI 信息里去

拉流侧在拉流的过程中解码胜利之后把对应的 SEI 信息里的工夫戳解析进去

而后依据服务端的在线工夫比照两者之差，决定播放器的播放器倍速，例如 (1.0 ~ 1.4s) 之间逐步减少和递加，最终在合乎预期的延迟时间进行减速生产

• 确认自研播放器 buffer 缓存以后现状是多少秒，对齐竞品至多 2s buffer

常见的直播播放器缓存 buffer 大小为 2 秒，次要是出于缩小卡顿和进展的概率，晋升用户体验的思考。播放器缓存 buffer 是指播放器事后缓存一定量的视频数据进行播放。当网络情况不好、视频流传输中断或者提早过高时，播放器缓存就会派上用场，保障播放过程的连续性和流畅性。一般来说，播放器缓存 buffer 大小会依据网络环境和带宽等因素而不同。如果缓存过小，会导致卡顿和进展；如果缓存过大，会减少提早，影响实时性。通过优化，常见的直播播放器缓存 buffer 大小为 2 秒左右，既可能保障播放过程的流畅性，又不会适度减少提早。不同的直播平台（PC、挪动端）、不同的网络（WIFI、4G、5G）和设施（不同厂商）可能会有不同的播放器缓存 buffer 大小设置，因而在理论应用中须要依据具体情况进行调整和优化。

• 应用阿里云的 RTS 或者，字节的 RTM 协定，如果应用超低延时计划还需确认应用场景（例如头部热门直播间有须要的才采纳）

阿里云的 RTS（Real-Time Streaming）和字节的 RTM（RTM，Real Time Media）都是超低延时商业化计划，有着使提早升高至 <=1s 的成果，在具体的利用场景和性能方面都差不多。

1. 1. RTS 全链路延时监控、CDN 传输协定革新、UDP 等底层技术优，能够提供低提早的流媒体数据传输和解决服务，反对高并发、低卡顿、秒开晦涩的直播体验。
   2. RTM 通过链路传输协定革新为 UDP 等底层技术优化，解决 TCP 协定本身局限和网络抖动引起提早累加，反对高并发、高可靠性的优质直播观看体验。

以上两种商业化计划都须要配合播放器 SDK 应用，且 RTM 须要配合火山 CDN 环境应用，两者费用也不一样。须要针对咱们以后架构和现状作出衡量思考。

• 应用 QUIC 协定（底层 UDP 协定实践上提早会更低），已在三方播放器上验证过。一般 flv <=5s 降落到 <=2s

惯例直播推流底层协定是基于 TCP 的，实践上极限在 3 秒左右曾经是最低的了。

而 QUIC（Quick UDP Internet Connections）是一种基于用户数据报协定（UDP）的协定，它在传输上相比于传统的传输层协定（TCP）有以下劣势，导致提早更低:

1. 1. 连贯建设工夫短, TCP 协定须要通过三次握手的过程来建设连贯，而 QUIC 协定只须要一次握手，这样就大大减少了连贯建设的工夫，进步了通信效率。
   2. 报文传输方式不同, TCP 协定在发送数据之前首先须要进行慢启动过程，以逐渐减少发送速率并监测网络拥塞。QUIC 协定通过动静地调整窗口大小和传输速率，使得数据传输更加高效。
   3. 多路复用反对度更好, QUIC 协定反对多路复用，这意味着能够在单个连贯上同时传输多个流，从而保障更高的带宽利用率和更低的提早。
   4. 缩小网络服务的依赖, QUIC 协定可能在连贯生效或者网络服务不可用的状况下，进行疾速复原，从而保障了稳固的数据传输。

综上所述，因为 QUIC 协定在连贯建设、报文传输、多路复用和网络故障解决等方面都有着比. TCP 协定更好的体现，因而它能够提供更低的提早，更高的速率以及更牢靠的连贯。另外一个应用 QUIC（UDP）也须要综合思考一些问题，它带来更低的提早后，会不会有一些其余方面受到负面影响，例如拉流成功率、稳定性问题之类的。所以最终实施方案还须要做更具体的测试权衡利弊。

6. 一些思考

直播提早问题波及的因素较多，包含推流端和播放端的缓存设置、传输协定、GOP 管制等方面。为了解决提早问题，在理论开发中，为了达到更好的用户体验，咱们须要对这些因素进行综合思考和优化，在一直的实际和试验中寻找最佳计划，通过综合应用这些技术计划，能够更好地进步直播平台的实时性和观看体验。

流动举荐 ：得物技术社招开始啦！点击关注 得物技术公众号 理解详情！

本文属得物技术原创，来源于：得物技术官网

得物技术文章能够任意分享和转发，但请务必注明版权和起源：得物技术官网