摘要：通过将沉迷式演唱会利用托管到云 XR 平台上，彼真科技也无需像传统利用一样做大量的终端适配工作，通过 Web 协定即可将虚构演唱会《故障四方》的国风科幻世界出现在不同的终端上。云 XR 平台实现了算力调度、渲染、推流、编码和用户治理等工作，彼真科技就能够专一在内容制作与实现上。
去年，美国驰名说唱歌手 Travis Scott 在游戏《堡垒之夜》中举办了一场名为“Astronomical”的演唱会，吸引千万玩家观看。这场景象级的演唱会，引发了寰球的关注，也让更多的艺人、企业开始关注沉迷式体验。
近期，国内一场由音乐人陈陈陈发动的《故障四方》的沉迷式虚构演唱会，于 2022 年 5 月 26 日举办了首场限定公测上演。彼真科技作为虚拟空间平台计划商、联结出品方以及 3D 内容制作方，为本场上演进行了全方位的技术和制作反对。
别样的演唱会，天马行空的沉迷式世界
《故障四方》是新武林系列首场上演，新武林是彼真科技为音乐人构建的一个国风科幻虚拟世界。不像线下的上演，会受实在生存的“限度”，在虚拟世界中，音乐人通过高精度的模型，将脑海中的天马行空制作进去。
在新武林的世界中，彼真科技就为音乐人建造了东商，西徴，南角，北羽，中宫五个舞台；有拱桥、花车、凉亭、屏风等多种国风元素，还有千佛洞、四大神像、巨像战斗等多个符合中国传统审美的奇迹化场景。同时，场景设计上采纳了科幻化的格调，将电子与国风以独特的形式联合。
不限设施、轻松与“新武林”世界交互
参加观看《故障四方》上演的观众，不须要提前预装软件，也不会占用理论贮存空间，只需点击邀请函链接，即可间接进入新武林的虚拟世界。对观众的设施根本没有要求，也不限平台终端，包含了手机、PC、平板电脑和 VR 头显等，一键式进入虚拟世界，大大降低了参加门槛，提供了更便捷高效的参加形式。
彼真科技为音乐人和观众提供可自定义的形象塑造，观众能够用个性化定制的虚构形象，在虚拟世界中摸索。
演唱会虚构形象定制界面
实时传输，最大水平还原上演真实感
为了最大水平地还原上演的实时与互动感，本次上演无论是灯光还是上演，都是“实时”的，通过与原来应用的线下设施买通，灯光师能够实时打光，艺人表演衣着动捕服演唱，将动作实时同步给虚构形象。技术将原本依附线下大型场合的表演，在线上以更微妙的形式出现。
艺人表演动图
精美成果背地对云端视觉计算技术的要求
演唱会须要为观众出现极佳的视觉与听觉体验，对画质和音质的要求很高，这意味着场景、人物形象与地图等相干的视觉高保真模型数据量微小，据悉，本次演唱会如果封装成安装包在终端上运行，安装包将有 40 多 GB 大。再加上，这场演唱会并非当时录制，而是每一位观众都有着本身的视角，每一帧画面都须要在演员与观众的互动中生成，便须要大量的实时计算，如此精密的模型对渲染须要的计算力要求很高。
这些都并非一般的 PC 或者手机能够实现的，须要依附云端的弱小算力。同时，演唱会所须要的计算资源，会随着观众接入数量减少而增长，具备用量大、突发性强。如果应用线下 IDC 周期长，且将造成微小节约。因而，云端实时渲染简直是必选项。然而，云端视觉计算利用的架构与传统本地计算的利用不同，其渲染与成像拆散，减少了编解码、推流等环节，这个过程中都有可能产生画面与声音的失真，此外须要对云端算力进行调度与治理。
云端视觉计算利用架构图
新武林系列作为演唱会，其对音质的高保真需要远超常见的近程会议、即时语音等场景。普通人的耳朵听不出来的失真成果，在音乐人“耳中”变得无奈承受。同时，为了还原演唱会的场景体验，新武林有着丰盛的声音成果，观众如果间隔舞台比拟远，声音则会变小，离舞台更近，声音就会变大，这些精细化的、身临其境的成果，彼真都心愿可能真切地还原。
因而，彼真科技抉择与当先云利用平台平行云和云计算厂商阿里云单干。
云 XR 平台助力彼真科技完满出现新武林
针对云端视觉计算利用，平行云与阿里云联合推出了云 XR 平台。彼真科技将新武林的利用间接托管到云 XR 平台上，无需像传统利用一样做大量的终端适配工作，通过 Web 协定即可将新武林的世界出现在不同的终端上，实现零客户端解锁 Web3.0 体验。云 XR 平台实现了算力调度、渲染、推流、编码和用户治理等工作，彼真科技就能够专一在内容制作与实现上。
同时，通过平台提供的欠缺的二次开发接口，彼真科技实现了丰盛的业务零碎，与用 UE 开发的 XR 零碎拆散，以实现各自的独自开发，大大降低开发的难度与人员的投入老本。
云 XR 平台由阿里云与平行云联结研发，阿里云次要提供自研神龙架构的超强云端算力，及自研流媒体编码技术；平台层则由平行云对渲染、编码与推流等服务进行高效封装，集成了阿里云底层 IaaS 能力，反对 NVIDIA Cloud XR 平台。
基于阿里云自研神龙架构、搭载 NVIDIA A10 GPU 的 GN7i GPU 云服务器实例，提供超高性能渲染能力，反对硬件实时光线追踪 AI CG 优化，DLSS（深度学习超级采样）技术利用 AI 优化视频画质，在雷同算力的状况下大幅提高帧率，反对全硬件编码至 8K 高清，为演唱会生成精美清晰的图像。神龙架构带来的超高网络转发能力高达 2400 万 PPS，延时低至 15 微秒，大大晋升了转发效率，升高了串流延时。
彼真科技虚构演唱会架构
在为彼真科技提供上述云渲染根底能力以外，XR 平台还针对虚构演唱会的模式进行了优化，实现高保真音质。日常生活中，每当咱们听到一段美秒的旋律，打电话实时给敌人分享的时候会发现，声音在传输过来往往曾经失落了大量的细节，电话那头的敌人听到的旋律曾经不是咱们听到的这般模样。
同理，在云端生成的图像和画面，要做到无损地传输到观众的设施上，而且要做到“音乐人”称心的高保真，难度可想而知。为了满足线上音乐会的要求，平行云与阿里云工程师在对音频的编码上，专门进行了优化与晋升。
本次演唱会的特别之处还在于其实时性，须要艺人的动捕服、灯光师的打灯设施等非标设施接入平台，云 XR 平台的数据通道有着弱小兼容性，反对不同垂直行业的特定组件，以及来自物联网、摄像头等多状态的数据通道。
最终，《故障四方》作为新武林系列的首场限定公测上演，公测当天，预约量超百万，万众瞩目。在多方的致力下，《故障四方》演唱会有了令音乐人与观众惊艳的成果，被多家业内媒体关注与报道。
图片应用阐明：本文局部配图来自彼真科技。
相干参考资料 ：
彼真科技 RT3D 云渲染虚构演唱会首秀圆满举办，助力音乐人打造全真音乐体验
平行云助力彼真科技打造 3D 实时云渲染虚构演唱会首秀
新武林虚拟世界首次公测《故障四方》精彩霎时
为什么都在关注「虚构上演」
这场百万预约量的虚构演唱会，为疫情下的音乐人带来了什么？
DS TALK|揭秘首个国风武侠题材的虚构音乐世界《新武林》
重磅 | 国风科幻虚拟世界《新武林》限定公测