云渲染能够解放本地计算需要，这意味着生产力的大幅晋升。
云渲染的基本原理是将3D渲染利用部署到云端，接管本地的控制指令发送到云端，云端启动游戏引擎并进行画面渲染，编码成视频流传输到本地。
不难看出，云渲染技术的外围在于将计算搬到云端，对渲染出的画面进行流化的传输。而过程中渲染画面的抓取、编码、传输、显示等流程被称为串流。
串流是云渲染业务用户体验的外围，串流延时、画质、卡顿等都会间接影响到用户体验。
云渲染串流技术框架次要分为两局部：云端串流引擎和串流客户端。
云端串流引擎：在云端GPU上，响应客户端发送过去的控制指令，启动渲染利用并进行串流视频的解决与发送。引擎往下适配各种OS和硬件，往上对接调度和业务零碎。
串流客户端：串流客户端相似一个播放器，进行串流视频的接管和编码，同时发送控制指令来操作云端渲染引擎。云端串流引擎和串流客户端通常是一对一的。
基于云渲染串流技术可能大幅度弱化本地GPU渲染利用压力，将简单资源处理过程迁徙至云端进行，本地计算需要进化为一个播放器。
01 云渲染串流的三大技术挑战
云渲染的外围技术指标与挑战次要有以下三方面：延时、画质与晦涩度、老本（包含GPU计算成本和传输带宽老本）。
首先，延时是云渲染串流技术体验的根底，超低延时的需要则带来了微小的技术挑战。云渲染串流过程中的延时次要分为两方面：
端到端的延时：音视频通话250ms以下延时曾经难度很大，对于云渲染串流技术而言，想要将端到端延时管制在100ms内更是难上加难。
Motion to Photo的延时：比方在VR云游戏场景下，应用头盔进行头部转动动作时，画面上的延时称作Motion to Photo的延时，为保障用户体验须要将该延时管制在20ms以内。
对于画质和晦涩度来说，云渲染须要输入视频流，画质与晦涩度作为用户直观的体验，其技术带来的挑战次要在以下三方面：
1.面临简单网络环境与不稳固的带宽，是否保障画面清晰度与晦涩度；
2.画质、码率、计算成本三角关系的均衡；
3.技术先进性和兼容性的均衡，如：更先进的编码技术H265尽管可能晋升画质，但其解码性能和兼容性如何保障？
在老本方面，目前来看，云游戏、云渲染正在蓬勃发展，但离实现商业化盈利依然路途遥远。首先，云渲染GPU资源存在一对一独占资源的特点，单用户耗费的计算资源较高。其次，云游戏存在显著的业务顶峰，通常集中在晚间，其余闲时资源如何利用成为了一大问题。最初，如前文提到，云渲染对画质和帧率有较高要求，如何在保障用户体验的同时升高每个渲染过程的资源耗费。
02 多维度优化云渲染策略
延时优化
下图对全链路延时进行拆解，其中如指令传输、音视频流控&QoS等环节的延时稳定较小，优化工作次要针对传输、编解码的延时进行。
传输延时优化
因为云渲染服务与理间隔来缩小延时，基于高笼罩的ENS边缘节点集群进行就近解决与传输，通过调度将工作下发至离用户最近的GPU节点进行解决与串流工作。
其次能够通过传输协定上的优化来缩小延时。取代传统的RTMP、HLS协定，转向采纳RTC协定进行传输，同时针对云渲染的场景特点来制订QoS策略，如带宽预计、拥塞管制等来实现优化成果。
编/解码延时优化
影响编码延时的次要因素是帧级的线程缓存、lookahead缓存、B帧。优化编解码延时的外围思路是“进一帧，编一帧，出一帧”，不进行任何缓存，用slice thread 代替 frame threads，敞开lookahead与敞开B帧(在HEVC规范下，可采纳GPB编码方式，将一般B帧用低延时B帧进行代替，既能晋升画质又能升高延时)。
画质与晦涩度优化
画质与晦涩度出现的关系如同跷跷板，为了保障用户体验往往须要在两者之间进行均衡。
在云渲染场景下，编码须要与网络进行联动，通过实现网络自适应传输与编码来优化晦涩度：
带宽预计：依据网络状况动静调整编码器码率等参数；
拥塞管制：采纳BBR或是GCC进行拥塞管制，如被动丢帧。BBR策略收敛更快，通常更适宜云游戏场景；
丢包重传：如前文所述云渲染采取就近传输方式，能够依据这个特点实现疾速重传策略；
抗I帧风暴：因为I帧占用带宽较大，在I帧过多的状况下对于清晰度与晦涩度造成较大影响；
管制I帧数量和大小
视频帧的类型分为I帧、P帧、B帧，其中I帧大小远大于P帧与B帧，I帧密集容易引起卡顿，Intra refresh策略可能无效解决此类问题。
通过将I帧拆分为多个I slice并按程序平铺到间断的帧中，无效管制I帧的梳理。呈现丢帧后可顺次排序组合复原出残缺的一帧。
VBR+VBV码率控制策略
CBR码控策略能够使得码率安稳，保障晦涩度。但思考到云游戏场景画面静止激烈，因而固定码率会造成局部帧画质较差的问题。须要在画质与晦涩度间获得均衡，举荐采纳VBR算法+VBV参数的形式管制码率稳定，使得码率可能在肯定范畴内实现“安稳”地稳定。
云端协同的CodeC抉择
在以后环境下，手机终端大多曾经反对H265解码，云端GPU也大多反对H265编码。如果云和端都反对H265解码，通过云与端的协商，在云端优先进行H265编码，可能在等同清晰度下使码率升高20%~40%。
CPU+GPU混合的窄带高清编码
独自应用CPU编码老本高、提早大；独自应用GPU编码灵活性差、画质差。可交融CPU与GPU编码能力，采纳GPU为主、CPU为辅的混合编码策略。
阿里云窄带高清编码技术，通过视频加强解决和编码的联结优化，可能在码率雷同时显著晋升画质。或者使码率在升高30%～60%的状况下，视频画质依然持平甚至有所晋升。
但云渲染场景与一般的视频特点差异较大，且通常须要采纳硬件编码。须要思考如何在低延时、场景疾速切换、静止激烈的状况下优化GPU编码的画质与晦涩度。后文将联合三星堆云渲染场景，介绍阿里云在云游戏场景的窄带高清成果。
老本优化
解决根底体验问题后，老本问题成为云渲染、云游戏商业化面临的最为突出的挑战。
云渲染老本次要能够分为三条线：单任务理论GPU资源耗费， 单机资源利用率， 总资源池利用率。老本优化策略须要围绕如图所示的三条线开展。而在理论场景中云渲染老本优化还存在以下四方面的问题：
1.单过程资源耗费大
2.CPU<-> GPU 内存拷贝效率低
3.单机资源利用率低
4.业务并发工夫集中
从以上四个角度登程，接下来将具体介绍如何实现云渲染老本优化。
单任务资源耗费优化
GPU硬编码：GPU渲染单元与编解码单元独立，在渲染的同时能够利用GPU进行编码工作，无效升高CPU耗费；
CPU<-> GPU memory zero copy：因为CPU与GPU的排列形式，解决图像帧的格局、内存的layout存在差别，因而须要构建全GPU解决的pipeline，缩小CPU在过程中的参与度，可显著晋升性能，升高延时；
CUDA减速：图像缩放/色彩空间转换等可用CUDA减速；
单机资源利用率-虚拟化与多开
当升高了单过程资源耗费后，通过采纳虚拟化与多开技术可能无效进步单机资源利用率，一张卡上同时运行多个渲染过程。实际上，GPU的虚拟化技术为云游戏、云渲染的大规模商业化落地奠定了根底。
集群资源利用率-业务混跑
理论状况下，仅通过上诉两种办法仍然难以解决老本问题。实现业务混跑，进步集群资源利用率，是云游戏、云渲染技术真正实现普惠的要害。其外围在于利用不同的视频解决顶峰期间，对GPU集群进行分时复用。如在白天时段利用GPU集群实现离线AI解决工作，早晨6～8时进行直播转码解决工作，在9～11时进行云渲染、云游戏利用解决工作。基于业务的多样性，充分利用总GPU资源池，无效升高云渲染老本。所以视频云业务的多样性也是降低成本的重要劣势。
03 云渲染实际案例一键开启三星堆奇幻之旅
CCTV《三星堆奇幻之旅》 采纳了阿里云的大规模即时云渲染技术，将大型沉迷式体验须要的图形算力、存储需要放在云端，观众看到和交互的画面都是由云端即时渲染计算出来，从而让观众解脱本地硬件限度，仅通过一个H5页面，便可低成本地享受高质量的沉迷式体验。作为高热度、高并发的云渲染利用，该实际案例反对5K的并发，准备万路弹性，最终登上微博热搜TOP 3，播种了3300万播放量。
这样热度和规模的流动，要保障每个用户的高体验，对技术上的要求和挑战都是微小的，阿里云构建了多个维度的技术体系来晋升用户体验。
阿里云视频云的GRTN（Global Realtime Transport Network）低延时网实现边缘传输，无效升高传输方面的延时。GRTN是阿里云各个音视频通信业务方合力打造的传输网，反对HTML5 的信令接入。GRTN采纳层级网和对等网相结合的混合网络架构，媒体传输链路更短，全链路采纳延时更低的基于UDP的RTC协定，并利用深度定制的动静路由、传输管制、边缘计算、双向实时信令网等机制。视频云云考古机制是基于GRTN设计，可接入视频云直播、点播和RTC等业务，便于寰球实时传输，实现业务扩大。
RMS云渲染引擎也为三星堆我的项目体验施展了十分重要的作用。RMS负责渲染视频的采集、解决、编码和传输。RMS的解决性能和延时、编码画质、QOS的传输体验都间接影响三星堆我的项目的用户体验。
游戏/渲染引擎输入的图像帧个别都是显存中，如果采纳CPU软编或者ASIC异构编码的形式，会存在拷贝提早。因而RMS采纳GPU硬件解决为主、CPU解决为辅的形式，达到视频帧zero-copy的极致提早体验，在满足画质、晦涩度需要的前提下，充沛升高性能耗费和计算成本。
同时，RMS在QOS策略上也做了大量的优化。本次云考古面向的是全国各地的观众，为应答复杂多变的网络环境，咱们在RTC网络的传输Qos保障的根底上，对Jitter Buffer/NetEQ/带宽预计/牢靠传输(丢包重传、乱序重组)，以及Qos模块和编码模块的配合上做了专门的调整，包含智能策略组合、智能码控、丢帧逻辑和FIR解决等方面。同时，在QOS的码率调配上，咱们也做了大量优化，能够在保障抗弱网能力的同时，将无限的带宽更多地调配到编码器的码率上，晋升视频清晰度。
在视频编码算法方面，咱们利用云渲染场景深度优化的窄带高清技术来晋升清晰度。通过云端GPU与客户端CPU的联动，进行内容自适应的纹理和色调加强解决，无效晋升了视频画质，且算法的性能和老本都大幅升高，对全链路延时和客户端功耗的减少都达到能够疏忽的水平。而图像处理算法与编码算法的有机联合优化，可在保障画质的同时，显著升高了视频码率大小和码率稳定。
最终的成果出现如上图所示，左侧仅仅采纳GPU进行编码，色调绝对黯淡、文字绝对含糊，画面饱和度、对比度绝对较差；右侧通过咱们的GPU+CPU联结优化的窄带高清解决，在码率升高35%的状况下，VMAF进步10%，主观的画面纹理细节和色调成果也有晋升。
面向未来，云渲染串流技术倒退方向曾经清晰，一方面通过与AR、VR、XR进行联合，打造沉迷式的云渲染体验。而其中要害的20ms以下的Motion to Photo延时，则是突出的技术挑战，能够思考采纳异步渲染的形式进行延时优化。
另一方面通过与虚构社交、音视频通话与直播进行联合，向交互式、综合式的利用方向倒退。云渲染串流与AI算法、直播技术、RTC音视频通话技术的联合，是将来技术的演进方向。咱们的RMS云渲染引擎反对多种AI特效、直播旁路直播与RTC云合流，为将来云渲染的技术综合性要求打下了根底。