回顾互联网倒退历程，从 PC 局域网到挪动互联网，互联网应用的沉迷感逐渐晋升，虚构与事实的间隔也逐步放大。利用沉迷式音频与通信技术将来将会很大水平晋升用户的体验感，而在虚构与事实的元宇宙中，对沉迷感、参与度、永续性等方面都有很高的要求，因而将会由许多独立工具、平台、基础设施、协定等来反对其运行。随着 AR、VR、5G、云计算等技术成熟度晋升，基于沉迷式音频的通信技术在元宇宙无望逐渐从概念走向事实。

本文将和业内搭档一起摸索元宇宙技术倒退对通信行业带来的影响，将来沉迷式音频的发展趋势以及通信技术在 VR、AR、AI 行业的利用。

元宇宙概念简述
元宇宙（Metaverse）是指打造一个与现实生活平行的、体验简直无差别的虚拟世界。人类能够利用虚构身份在虚拟世界工作、社交互动、娱乐游戏，甚至交易交易。总结进去就是，在元宇宙中，你能够想什么就有什么，无边无际的想象力给予你有限的自在。

Metaverse 元宇宙所发明的独立于事实世界的虚构数字第二世界，使用户能以数字身份自在生存。VR、AR、AI 作为 Metaverse 的技术根底将迎来高速增长期。虚拟现实行业 2020 年寰球市场规模约为 900 亿元人民币，预计 2020-2024 年均增长率约为 54%。据中国信通院预测，2021 年开始寰球虚构设施出货量将减速，预计 2024 年可达 7500 万台。（数据起源：天风证券《Metaverse钻研报告》）随着 VR 产业链的逐步完善，VR 对行业的赋能会展现出弱小的飞轮效应。

那么咱们怎么样能力从事实世界，逐步进入到元宇宙世界中去呢？

真实感的维度
如果把元宇宙场景中，用户体验到的真实感划分为两个维度：“沉迷感”和“自由度”。两个轴的终点，则是原生感知事实，例如正在浏览这篇文章的你。沉迷和自在的深度，独特决定了元宇宙中的用户体验是否足够实在。

真实感的等级

Lv1：从原生感知初步向虚拟世界迈进的阶段
Lv2：让大脑感觉局部实在的虚拟世界
Lv3：齐全骗过大脑的全真虚拟世界
Max：和原生世界深度雷同的虚拟世界

元宇宙现阶段发展趋势
现阶段元宇宙概念的产业链，例如互动体验、人机交互等，大部分能力范畴在 Lv1-Lv2 之间，仅有少部分尖端企业向 Lv3 迈进。将来阶段如何实现 Max 的指标，是否能真正实现，目前还无奈得悉。

Lv1-Lv2 范畴的产业链已日渐成熟，目前曾经实现 3D 体感电影、凋谢沙盒游戏、VR、AR、MR 游戏等利用。

如果说 Lv2 阶段的用户体验，是由某几个沉迷或自在因素沉积而成的“半实在”体验，那么降级到 Lv3 阶段的“全实在”体验，能够说是质的飞跃。“沉迷”和"自在"必须做到足够的深度，相辅相成。数字化的视觉和听觉感知体验是否能够齐全骗过咱们的大脑？3D 引擎是否能提供足够的自在体验？AI 是否能做到永续性、自成长？网络传输是否可实现无提早？只有任何一个因素存在缺点，就不可能真正实现“全实在”的用户体验。可见从“半实在”到“全实在”，实现难度会陡增。

到 Lv3 之后，元宇宙下一个阶段，就是实现终极目标，让人们的意识永生在虚拟世界。影响这一指标实现的因素，除硬件、软件、通信等科技因素之外，还波及到生物学和医学领域。是否能真正实现，目前来看仍是未知。

头部厂商的停顿

1.Facebook
2020 年 9 月，Facebook Connect 2020 大会上，Facebook 公布了 AR/VR 十五大重要战略规划。会上颁布的一系列 AR/VR 信息，涵盖最新硬件产品、软件产品、解决方案、开发者服务、前沿技术钻研等。

其中 VR 头显 Oculus Quest 2 依附平台提供的游戏和软件反对，曾经成为目前市场上支流的 VR 头部穿戴设施。

值得关注的是，在会上公布的Project Aria 是Facebook 构建的帮忙钻研人员了解 AR 眼镜所需软件和硬件的钻研设施。它应用传感器能从佩戴者角度捕获视频和音频，通过GPS 计算地位，捕获多声道音频。

2.Apple
美国出名科技博客 Scobleizer 预测，苹果在将来一年内颁布的产品打算中，将会蕴含一款全新的 AR/VR 头显。具体来讲，苹果打算在将来十年推出多款产品，包含 AR/VR 眼镜、AR/VR 隐形眼镜(别离在 2022 年到 2025 年之间推出)。这意味着苹果要从 2D 屏幕、界面和体验向 3D 模式降级。

Scobleizer 示意：苹果 AR/VR 头显将同时笼罩使用者的双眼和双耳，戴上之后你不仅看不到四周的环境，也听不到四周的声音。也就是说，苹果 AR/VR 头显的一大特点是视觉和听觉的沉迷感，乏味的是，它并不会将使用者与外界齐全断绝，兴许能够通过 AR 透视性能让你看到和听到四周。在苹果 AR/VR 头显开机之后，你能力看到周围环境的虚构影像，并且听到四周的声音。

值得关注的还有苹果车载盘绕音频技术。Scobleizer 示意，该技术能够从汽车外部、家里等各种中央营造盘绕式声音成果。利用苹果 AR/VR 头显的 LiDAR 模组，能够实现 3D 音频在空间中的定位。通过亲自体验，他示意该技术可模仿亲临现场的音频成果。

RTC 通信技术的现状
RTC 的音频传输技术，是通过采样、量化、编码、压缩，实现模拟信号到数字信号的传输。目前罕用的是双声道的采样，即左右两个声道的立体声，再通过压缩解决，传输时占用带宽少，合乎目前大部分业务场景对传输效率的须要。随着5G 到来，网络带宽不再是问题，在保障传输效率的根底上，人们会进而谋求 3D 沉迷式的音频体验。双声道采样将不再合乎将来需要。多声道采集（例如 Ambisonics 麦克风用四面体阵列模式采集 4 个声道）传输，或者成为将来通信技术的支流。

除了上述方法使用户实现沉迷式的音频体验，还有没有其余办法？咱们先来看一下，目前成熟的沉迷式的音频技术有哪些。

沉迷式的音频技术
目前，沉迷式音频类型次要分为三大类：基于声道 Channel based audio （CBA）、基于对象 Object based audio （OBA）、基于场景 Scene based Audio （SBA）。Scene-Based Audio 次要是用来形容场景的声场，其外围的底层算法是 HigherOrder Ambisonic（HOA）。

依据业内专家剖析的论断，将来 VR 音频业余畛域则次要是 Object based audio 和 Ambisonics（HOA）两大趋势。

那么 VR 音频技术，能够利用在哪些 VR 社交场景中呢？

与社交场景的对应
在元宇宙倒退的现阶段，社交场景次要存在于 VR 游戏、VR 直播、和 VR 社交软件上。

因为 Object based audio 有大量的数据和运算，除了声道的音频外，还有对于声源的metadata （元数据）：声源（地位、大小、速度、形态等属性）、声源所在的环境（reverb （混响）和 reflection（回声）、attenuate （衰减）、几何状态），所以它更适宜用于 VR 主机上的游戏。

Ambisonics 的特点是声源贴在提前渲染好的全景球上，所以玩家不肯定可能将声源放在场景中想放的地位，即便有声源也被压缩在了这个球上。它适宜挪动端和流媒体视频。

如何利用沉迷式音频与通信技术晋升将来体验
通过以上剖析，咱们怎么利用 RTC 的音频传输技术实现用户沉迷式的音频体验呢？

1.间接传输沉迷格局的音频
应用 Ambisonics 技术，声音的采集和解决都交给 App 或者 VR 声音引擎，RTC 通道仅负责进行传输。

2.预处理后交给接收端还原
对应 Object based audio 技术，声音的采集用 Ambisonics，然而在传输之前，降维到双声道进行编码和传输，这样 Web 端或挪动设施能兼容。而后接收端通过双声道数据，再还原回 Ambisonics，依据虚构场景的变动实时渲染，最初在用户端播放。

3.通过文字与语音的转换技术实现
如果虚构场景中是二次元的世界，咱们不仅要防止人声的间接还原，还要让人物语音合乎二次元世界中的设定。
对于这种状况，能够借助融云 IM 技术，以及语音和文字的互转实现（asr 和 tts）。人声采集后先转成文字，再输出到声音建模中，最初转成二次元人物的声音。
这种办法能够让每一个玩家的语音都合乎游戏世界中的设定，从而加强沉迷感。

结束语
相干技术的一直降级提高，会使元宇宙概念持续向前倒退。VR、AR、5G、AI、业余引擎和平台等产业链的倒退，也会持续带动用户对沉迷式体验的谋求。沉迷式音频通信有可能会成为将来通信的支流。咱们对市场放弃关注，心愿和业内搭档一起深刻摸索钻研，沉迷式音频与通信技术或可成为通信业务将来的突破口。