事实世界映射其中,传统文化沉迷其境,旧时记忆交互其间。
技术作者|仲升
内容编辑|IMMENSE
在刚刚过温的春节,云之上,带来了一场「数字文化」新体验。
游花车、舞狮子、踩高跷、放烟花、写福字……还记得儿时的春节风俗吗?现在这些风俗被“像素级”复刻进了“央博宇宙”里。往年大年三十,由地方广播电视总台“央博”数字文化艺术博物馆(简称“央博”数字平台)打造的寰球首个元宇宙庙会——“央博新春云庙会”正式上线,为宽广网友出现了一场突破时空界线的新春云庙会,还原儿时的春节记忆。
一场由黑科技链接、发明的数字之旅,是在央视春晚演出的跨时空新春“云庙会”。事实世界映射其中,传统文化沉迷其境,旧时记忆交互其间,高复刻、零时差的全然沉迷背地,必然有一股弱小的云力撑持,这便是阿里云“大规模即时云渲染技术”。
01 技术内核:轻量化、沉迷式、低成本
“大规模即时云渲染技术”是指,将大型 3D 沉迷式体验须要的图形算力、存储需要部署在云端,并通过实时音视频通信(串流)技术,使得玩家以极低的延时接管到实时渲染的画面,实现沉迷式交互。
其中,串流技术通过把用户终端设备上实时渲染画面的过程转化为视频流,并以高稳固、低时延的流媒体传输至玩家终端,让玩家解脱本地硬件限度,是实现终端 轻量化 、 沉迷式 、 低成本 交互体验的要害因子。
02 60 毫秒:交互延时“天花板”
《2023 地方广播电视总台春节联欢晚会》21:27 口播推介了“央博新春云庙会”的相干内容,全国并机频道总收视人次 3.16 亿次,口播后短短几分钟内,就有近百万用户涌入“央博”体验,零碎呈现显著的流量尖峰。
视频链接:https://v.youku.com/v_show/id…
面对网络流量洪峰,首要解决的是“零时差”的交互体验。
对此,间接的方法是减少网络的带宽,加之从老本、经营、保护的角度思考,这对云计算的 GPU 弹性算力也提出了更高的要求。到底如何能力克服玩家在体验过程中的时延、网络抖动等问题,实现万人在线“零时差”交互?
最无效的解决方案就是利用一个“有保障”的策略对网络流量进行治理,即 QoS(Quality of Service,服务质量)。对此,阿里云视频云技术团队在 调度保障 、 提早优化 和卡顿优化 这三大维度着力。
QoS 保障中最根底的能力就是调度能力,为用户抉择一个适合的节点来保障用户的最优网络接入,使得该用户的接入时延最低、网络抖动最小,从而获得最佳的云渲染推流体验。技术团队实现了基于运营商和地理位置的 传统调度、实时测速、历史调度信息 这三大维度的交融算法,保障玩家的最优网络接入。
在提早优化上,技术团队对全链路各个阶段的时延耗费做了拆解,并对每个环节做了针对性优化,通过密集布点并优化调度策略、编解码策略、媒体传输策略和指令通信策略,最终将整体时延优化到 60 毫秒以内,真正实现云渲染和本地渲染在体验上的一致性。
在卡顿治理上,技术团队重点优化了带宽预计算法和平滑发送策略。其中,带宽预计算法以 BBR 为底本并做了针对性优化,疾速、精确地估算出以后链路的带宽并反馈给编码器,以便编码器码率匹配实时的带宽。基于此算法,网络不会因数据过多导致拥塞,也不会因数据过少产生带宽节约。
在现实情况中,如果数据发送太快会对网络产生冲击,反之则会减少时延,针对这一问题,技术团队基于对实时网络状态的精准把握来动静调整平滑发送策略,并为音频、视频、重传包、冗余包等数据设置不同的优先级,确保最重要的数据优先被发送,从而实现低时延下的卡顿优化。
画质的清晰与否,是玩家在互动体验中最能直观感触的。同时,画质晋升和算法耗时的关系如同天平两端,为了保障用户体验须要在两者之间均衡 。因为 GPU 渲染能力的差别,会存在如锯齿、渲染空洞、噪声等画质问题,在解决延时的根本体验问题后,阿里云视频云技术团队利用窄带高清技术晋升画面清晰度。通过云端 GPU 与客户端 CPU 的联动,采纳自研算法进行内容自适应的纹理与色调加强解决。该算法性能非常优越,在 A10 上解决 1080p 图像的单帧耗时小于 1 毫秒, 对全链路延时的减少能够达到被疏忽的水平。
因为“央博新春云庙会”从立项到上线的工夫只有 50 多天工夫,为此技术团队采纳 H5 SDK 实现串流接入,解决了支流浏览器在 PC 和手机上的兼容性问题。因而,只有有网络覆盖,玩家在任何工夫、任何地点都能够体验。跨终端无缝切换,玩家能够在不同的设施上随便切换,而渲染过程不会产生中断。
03 云渲染的商业老本冲破
体验之上,经营老本高成为云渲染商业化所面临的突出挑战。
如何最大水平利用云上渲染资源?阿里云视频云技术团队在 GPU 虚拟机 Windows 操作系统之上,减少了虚构外设驱动层实现在 一台虚拟机上部署多个渲染利用 的能力,用户通过不同的虚构外设(音响、显示器、麦克风、摄像头、键盘、鼠标、手柄、触屏)拜访同一台虚拟机而不会互相烦扰,该技术能无效进步单机资源利用率,一张卡上同时运行多个渲染过程,为云渲染的大规模商业化落地奠定了根底。
同时,升高经营老本的另一个伎俩是升高“带宽”老本。
阿里云自研的“窄带高清”算法便能实现 等同画质下更省流、在等同带宽下更高清 的观看体验。传统视频压缩办法次要基于信息实践,从预测构造的角度来减小时域冗余、空间冗余、统计冗余,但视觉冗余开掘有余。
“窄带高清”算法中的 JND(Just Noticeable Difference)和 AQ(Adaptive Quantization)正是基于这个思路对视觉冗余进行开掘,通过空域和时域的特色计算,将图像上存在视觉冗余的局部传到编码器,再由基于 MOS 的自适应码控算法对 QP 做自适应的调配,最终达到码率节俭 30% 以上,但主观体验雷同的成果,实现品质、码率和老本的最优平衡。
<p align=center>(左:不开启 JND/AQ,码率 8858kb/s;右:开启 JND/AQ,码率 6027kb/s)</p>
这已不是云渲染技术在数字虚拟空间的第一次尝试了。
去年 6 月,央视就与阿里云单干推出了国内首个大型沉迷式云考古节目《三星堆奇幻之旅》,基于大规模即时云渲染算力复刻了 3000 年前的人类文明,让三星堆“活过来”。这所有有赖于云计算提供的高性能、高牢靠、且近乎有限的算力反对。
将来,云渲染技术会与现有音视频技术做深度联合,发明出更多前所未有的新形态、新玩法、新产品,而阿里云也将与“央博”摸索更多 冲破空间限度的数字文化艺术模式,用数字技术力助力传承中华文明。