共计 3835 个字符，预计需要花费 10 分钟才能阅读完成。
这是一个让云游戏完满起步的时代。
云游戏作为产业内近年来煊赫一时的话题，具备“云端运行、超高清、零延时、即点即玩”等泛滥个性。
随着 5G 时代的到来，以及核心云能力下沉至边缘云，高带宽、低提早、高性能这些个性与云游戏紧密结合，冲破实时云渲染的带宽和提早问题，也赋予了云游戏更大的想象力。
就在往年 6 月，央视推出了首个大型沉迷式数字交互空间《三星堆奇幻之旅》，让观众解脱本地硬件限度，仅通过一个 H5 页面带观众破屏穿梭，“身临其境”摸索考古现场。
沉迷式体验背地，“云渲染”和“串流”是绕不开的核心技术。
01 实现云游戏的关键技术：「串流」
“云渲染”将大型沉迷式体验须要的 3D 渲染利用部署在云端，使得观众看到和交互的画面，都是云端实时渲染计算出来的。
“串流”是实现云游戏的要害形式，通过数据中心将游戏渲染场景转换成视频流，再通过传输网络推送到用户终端显示。
同时，用户在实时显示的图像上，通过键盘鼠标、触控等形式传输指令到云端，实时控制 3D 渲染利用做出相应的响应。
整个过程提早通常小于 100ms。
云渲染「串流」技术通常利用在云上考古、云游览、虚构数字人直播、智慧城市数字孪生利用和云游戏的场景。用户不用部署低廉的高配 PC 或手机，通过网页拜访或者扫描二维码的形式，即刻便可享受细腻、清晰、晦涩的高清视频体验和实时的操控成果。
云渲染串流次要采纳启动成功率、错误率、资源利用率、首帧工夫、时延、码率、分辨率、画质、卡顿率、音画同步差等指标来掂量业务的好坏。
本文对重点对「串流」全链路时延进行剖析，并介绍次要的优化策略。
02「串流」的全链路时延
作为云渲染串流技术体验的根底，超低延时的要求带来了微小的挑战。云渲染串流的全链路时延次要可拆解为以下各个环节：传输时延、指令时延、编码时延、封包时延、收包时延、解码时延、帧距离时延。
传输时延：媒体流与指令流传输的时延。用户通过阿里云宽泛部署的边缘节点就近接入，个别状态下 rtt（往返时延）可稳固管制在 10ms 以内，即单向网络提早 5ms；在资源忙碌时，存在核心调度到较远节点的状况，偶然呈现局部用户 rtt 在 30ms 左右的状况，即单向网络提早 15ms。
指令时延：云上的 unity/ue 渲染利用的响应客户端的触控事件的时延。指令能够通过过程间通信的形式，买通串流应用层和渲染程序，防止操作系统交互，实现虚拟化操作，指令时延管制在 1ms 以内。
编码时延：视频编码的解决时延。采纳 GPU 硬件加速、采集编码 Zero Latency 的策略，通过对渲染利用的 direct API 挂钩的形式，实现 GPU 外部纹理视频数据的采集和编码闭环，防止了 GPU 和 CPU 之间原始大数据量的视频拷贝，节约了功耗，管制整体编码时延为 2ms 以内。
封包时延：视频编码数据封装 RTP 到服务器音视频发送的时延。采纳更适宜云渲染的拥塞控制策略，实时精准调节网络缓冲区，能够升高数据包在服务器的缓存工夫为 5ms 以内。
收包时延：用户接收端的 RTP jitter buffer 的时延。该时延放弃在 20～30ms，即缓存 1～2 帧的状态，以应答乱序、丢包、抖动等网络环境，在保障晦涩度的前提下，最大限度升高网络时延。
解码时延：视频解码解决时延。不同设施的视频解码策略不同，在中端机型软解高清视频的均匀解码时延为 7ms 左右，这是统计时延后果，在 H5 端上改良空间较小。
帧距离时延：编码算法时延。在 60fps 帧率的状况下，每两个视频帧之间的工夫距离固定为 16ms，也就是说指令响应到视频编码之间肯定会存在 0 -16ms 的时间延迟，这是由视频编码自身机制引起的，实践上不能缩小。
总之，在 1080P 60fps 的场景下，云渲染串流全链路时延 = 传输时延 rtt（10-30ms）+ 指令时延（1ms）+ 编码时延（0-2ms）+ 封包时延（0-5ms）+ 收包时延（20-30ms）+ 解码时延（7ms）+ 帧距离时延（0-16ms）= 38ms 到 90ms 之间，能够实现 100ms 以内的体验成果。
03 串流时延的精准「优化」策略
对于「串流」技术的全链路时延，优化策略次要包含：编码优化、前解决优化、采集优化、指令优化、传输优化。
❖ 编码优化
在视频编码策略方面，影响编码延时的次要优化有：
- 用 slicethread 代替 framethreads，进步编码效率，升高计算解决时延。
- 敞开 lookahead 线程，防止线程预测的帧缓存。
- 敞开 B 帧（HEVC 能够反对 GPB，代替一般的 B 帧），以升高后向参考的算法时延。
❖ 前解决优化
前解决优化次要指的是「窄带高清」解决，通过 CPU+GPU 联结计算，进行视频原始域的计算优化，在满足码率升高 35%，VMAF 进步 10% 成果的同时，最小化计算解决时延，成果如下图。
在云渲染场景下的窄带高清解决，能够实现 Zero-latency 编码与画质的均衡，使主客观画质都有显著晋升。同时窄高高清解决，能够升高视频编码码率，升高网络传输的带宽压力。
❖ 采集优化
在视频采集方面，通过对用户渲染过程近程注入视频采集 hooker，对 preset 函数设置函数钩子，在函数钩子中将 back buffer 拷贝到共享纹理中，供硬件编码器应用的形式，防止了 GPU 和 CPU 之间的 yuv 原始视频数据的拷贝。在 GPU 外部实现视频采集、视频解决与视频编码，全过程纹理数据处理，采纳 CUDA 硬件视频编码，并行减速编码过程，升高编码时延。
蓝色局部为用户渲染引擎过程，实现 GPU 的纹理渲染；橙色局部为阿里云云渲染引擎过程，实现钩子注入、网络收发和业务逻辑；黄色局部为 GPU 运算，用户过程和阿里云过程两者通过共享纹理进行数据通信，并实现硬件编码减速。
❖ 指令优化
在指令操作方面，咱们依据不同用户需要，提供「非侵入式」和「侵入式」两种计划。
非侵入式计划通过 hook 到用户渲染过程的形式，通过挂载 GetKeyState、GetCursorPos 等一系列 win api 键鼠状态函数，用来传递用户管制指令流，防止内核态与用户态的数据交互。
非侵入式计划的长处在于利用适配性好，用户不须要二次开发；毛病是须要依赖不同零碎版本的 api。
侵入式计划是指用户渲染引擎能够抉择集成阿里云注入.dll 的形式，通过同主机过程间的 socket 通信形式，实现自定义用户集成音讯解析，升高指令解析时延。
侵入式计划利用能实现云原生化，但其具备肯定的技术门槛，须要开发集成阿里云的计划。
❖ 传输优化
在传输优化策略中，次要包含指令流 QoS 保障、带宽预计、拥塞管制、视频缓存精准预计、FEC 纠错算法改良、非凡包冗余爱护。
指令流 QoS 保障：针对挪动事件需保障执行程序，在网络乱序场景下，容许丢包，但通过序列号确保执行最新事件；针对按键、点击事件，会启用重传策略，保障本地操控与最终显示的最终一致性；对于组合事件音讯进行音讯合并，缩小发包量，同时通过冗余策略能保障丢包时候的达到率。
带宽预计：采纳 BBR 算法，在带宽上探时，不会造成 rtt 的较大变动，防止传输提早的减少。同时，优化 BBR 算法的带宽下探策略，在探测最小 rtt 时，不停发数据，保障媒体数据稳固传输。在带宽探测过程中，采纳疾速收敛策略，优化最大带宽计算方法并缩短带宽预计的反馈工夫为 100ms，疾速探测带宽。
拥塞管制：调整 pacer sender 的周期断定条件，在网络状态良好时，进步单次数据发送量，缩小单帧发送工夫。
视频缓存精准预计：在视频解码端，采纳卡尔曼滤波器动静估算帧间隔时间，精准设置 jitter buffer 大小，缩小不必要的时延。
FEC 纠错算法改良：应用 cm256 RSFEC 算法，比传统 RSFEC 算法 cpu 利用率升高 95%，最大化进步分组数量。在云渲染大码率的场景下，缩小前向纠错的计算工夫。
非凡包冗余爱护：针对非凡包，例如 NACK 包及重传包、I 帧及重传 I 帧、用户自定义指令和操作指令等，分级传输，通过专用冗余通道传输，以部分带宽晋升为代价，以保障最小时延的整体传输达到率。
针对云渲染串流场景，阿里云开发了专门的提早评测工具，通过云渲染串流的通用指令 API，能够实现上述全链路时延测量。该工具由服务端测试渲染利用、测试利用客户端和统计解决工具组成。
服务端测试渲染利用：实时获取客户端上传的毫秒工夫，并通过云渲染串流显示上传的计时工夫。
测试利用客户端：实时显示毫秒计时，并通过云渲染串流的 API，例如鼠标坐标设置 API，实时上传毫秒工夫到服务端。
统计解决工具：包含定时截图程序、工夫戳自动识别程序和提早卡顿数据处理程序实现自动化测试和数据收集和统计，能够评测第三方云渲染零碎，并获取提早和卡顿的后果。
右侧为工具运行成果，图上示例中的时间延迟为 706290（客户端）– 706231（服务端）= 59 ms。通过 OCR 辨认和长时间大数据量的测试，可获取云渲染串流时延的统计后果。
尽管目前云渲染串流时延 100ms 能够满足用户的体验需要，然而 100ms 仅仅是及格线而已。
在升高时延方面，大有空间可为。
比方：
在内容生产端，通过开发云原生渲染利用，实现“内容生产 + 编码传输”的闭环利用，会进一步晋升指令反馈和图像显示的实时成果。
在云端，同一张网实现多业务混跑，升高用户接入节点的老本，缩小就近接入的间隔，能够实现网络提早的最小化。
在用户端，云渲染利用以 h5 接入为主，而在 h5 端，能够通过 webcodec、webtransport、webrtc 等技术的有机联合，实现灵便的串流策略，达到用户的极致体验。唯有实现串流技术的“延时自在”，能力让身临其境的云游戏，完满起步。
