关于人工智能:声网-MetaKTV-技术揭秘之声临其境3D-空间音效空气衰减人声模糊

5次阅读

共计 4233 个字符，预计需要花费 11 分钟才能阅读完成。

声网近期公布了 “MetaChat 元语聊”、“MetaKTV” 解决方案，致力于提供一种全新的元宇宙互动社交、K 歌形式，其中都提到了“3D 空间音频”这项核心技术，对晋升玩家沉迷感与听觉体验施展了关键作用。咱们也收到了很多开发者的征询，明天将为大家带来声网 3D 空间音频的技术揭秘，揭晓这项技术的外围性能点以及背地的技术原理。

在现实生活中，因为双耳效应的原理，咱们听到来自高低、左右等不同方位声音的感觉是不同的，并且能够疾速分别对方的地位。而在元宇宙虚拟空间中，如何通过听觉减少沉迷感是很多厂商迫切解决的要害因素，设想一下，在 3D 的虚构聊天室中，你操控着虚构形象与网友们聊天，耳朵里还传来正前方主持人的声音以及房间各个角落的聊天声，优雅的 BGM 在你的上方盘绕，好像置身在线下实在的 Party 中。这其中一些要害细节的拟真度是构建临场感、沉迷感的要害因素，要害细节的不足会造成用户的感知度很低，而声网的音频技术团队通过对技术的继续钻研，力求对每一个细节完满解决，最大水平为用户带来更真切的听觉体验。

3D 空间音效、空气衰减模仿、人声含糊三大黑科技完满模仿事实听觉

声网 3D 空间音频通过纯软件算法计划，模仿头部球面区域立体声场，使用户在音频听感上具备空间感。当用户操作虚构人物在虚构场景里挪动，能够实现依据虚构人物的面部朝向、音源朝向、远近间隔与高低高度，出现不同声音成果，完满模仿事实听觉感触，这其中“3D 空间音效”、空气衰减模仿、人声含糊三大黑科技施展了关键作用。

文章结尾有说过，咱们在现实生活能够感知到声音是从不同的方向传来的。咱们先来大抵介绍下这里的“方向感”是怎么产生的。

■图 1：耳廓收音示意图

咱们能够通过图 1 看到人耳的耳廓在接管不同方向的音源时，会让声波以不同的门路传导至内耳。这样，不同方向的声波传输到内耳的时候，音色就会因为耳廓的形态而产生各向异性。除此之外，因为咱们有两个耳朵，所以音源在不同方向时声波达到耳朵的工夫也会不同，这一点咱们能够联合图 2 来了解一下。

■图 2：双耳效应示意图

联合图 2 咱们能够发现，如果音源在你的右侧，右耳会先接管到声波，相同如果音源在左侧，左耳会先收到声音，同时因为人的头部也会对声音的流传产生影响，如果音源在右侧，那么声波须要越过头部这个“阻碍”能力传递到左耳，那么绝对于右耳，左耳听到的音色和频率会有所衰减。最终咱们 依附双耳间的音量差、时间差和音色差来判断声音的方位。

介绍完双耳效应的原理，再来看声网是如何在虚拟空间中模仿实在的“双耳效应”，在虚拟世界中，咱们须要把音频依据声源 + 用户的绝对地位以及声源 + 用户的朝向来渲染一个双声道的音频，这样就能够带上耳机来体验不同空间地位的声音实现“听音辨位”，目前一些传统的解决方案是通过调节左右耳音量的办法来实现左右方向的渲染，但这种办法只能渲染左右的方向。对更简单的前后、高低这些方向的渲染还须要粗疏调节左右耳音色、提早等细节差别能力精确模仿音源的地位。

在空间听觉的钻研和实现中，头部相关联的传递函数（HRTF）（Head Related Transfer Functions）与头部相关联的冲激响应（HRIR）占有非常重要的位置。而声网基于 HRTF 头相干传递函数、心理感知声学、声源指向模仿等算法自研了一整套 3D 声场渲染引擎。能够动静模仿空间中任意角度、朝向的声音在传递到左右耳时声音产生的变动从而实现了高精度的声音方位渲染。并且为了谋求极致的听感与极致的可用性，渲染引擎以极小的算力要求，反对 48kHz 全频带、多路音频渲染，让你在挪动端不多费流量、不必放心算力也能畅享多人高清音质互动。

在 HRIR 的采集中，声网通过在全消实验室针对每个角度都有一对采集的 HRIR，最终造成了一个球形的数据集，以实现角度的精准模仿。下方图 3 就是一个球形 HRIR 的坐标示意图。咱们能够看到图 3 地方是人头部所在的地位，四周的红点就是 HRIR 采集时音源的方位。

■图 3：HRIR 采集点的空间散布

音源的朝向对咱们的听觉也会有间接的影响，例如一个人背对着你谈话相比正对着你谈话声音会显得比拟“闷”，因为背对着你谈话时声音须要绕过身材这个阻碍，不同频率的声波绕过障碍物时的能量衰减水平不同。声网 3D 空间音效还提供音源朝向性能，通过声学建模的形式能够模仿任意角度的音源方向带来的音色差别，最终通过模仿不同音源的地位与朝向，实现音量、音色的差别，从而完满模仿事实听觉的感触。

此外，人在实在环境中对高低、前后这两个方向的感知是比拟含糊。这是因为人的耳朵基本上是对称的，相比程度方向，在垂直方向上左右耳声音的音量、提早基本相同就不足以用来辨别方向了。所以在虚拟空间中，声网还对这些方向的听感辨别做了加强，让用户在“虚拟空间”中能够领有超过事实的听音辨位能力。

模仿不同音源地位与朝向进行“听音辨位”只是声网 3D 空间音频模仿事实听觉感触的第一步，咱们还实现了对空气衰减的模仿。在事实中因为空气的存在，声波在空气流传中会产生衰减，其中高频的声音衰减快，低频的衰减慢，那么同一个音量的声音，如果高频多一些，咱们就会感觉它离你更近。

因为声波在空气流传中会产生衰减。而其中高频的声音衰减快，如蚊子的嗡嗡声、鸟叫声，低频的衰减慢，如男生粗暴的声音，风声、水泵声。那么同一个音量的声音，如果高频比拟多，咱们会感觉它离你更近一些。空气衰减性能就是模仿这种事实环境中的声学景象让声音听起来更真切。咱们用 2 张图来更直观的展现，如下方图 4 频谱图所示，低频的声音能够流传更远，而 8Khz 以上的声音如果超过 1 千米以上就很难听到。

■图 4：不同频率的声波空气衰减曲线

图 5 的时频图所示，上方为空气衰减的模仿，下方是只有音量的衰减，比照能够看出在空气衰减的状况下，在间隔逐步减少后，8KHz 以上的音频声音衰减更为迅速。

■图 5：空气衰减成果频谱比照

在生活中很多人对“空气衰减”的存在感知并不显著，但在虚拟空间中，通过 3D 空间音效与空气衰减模仿的强强联合，能够进一步还原事实听觉感触，在元宇宙中发明更真切的“声临其境”感。

咱们在嘈杂的酒吧、LiveHouse 中常常会遇到这种状况，你只想听到敌人的声音，但其他人嘈杂的声音不想齐全打消，因为这样就没有了酒吧的气氛。在线下，你可能没法实现，但在虚拟空间中齐全能够做到。声网 3D 空间音频的人声含糊性能就能将虚拟空间中你不想听到的声音进行模糊化解决，这样你能听到空间中四周的人声，但听不清他们在说什么，从而既放弃了环境气氛，又不会烦扰你与敌人的互动。

除了以上三个外围性能外，声网 3D 空间音频还反对本地音源文件播放，能够自定义场景中的背景音、伴奏、音效等。对于开发者而言，也反对灵便、多模式接入应用：

API 模式：间接集成 Agora SDK，调用 API 即可自定义空间音频（客户（须要 center server）依据本人虚拟世界的音源、听音者地位，朝向信息等，输出参数，即可实现）。

Server 模式：Agora Server 实现坐标同步与空间音频所需的参数计算，并在客户端进行音频渲染。

本地渲染模式：客户端能够把上传的音频进行空间音频的渲染，从而能够实现背景音乐、环境音效渲染等性能。

介绍完声网 3D 空间音频的外围性能点与技术原理，咱们再来看看它的利用场景，被视为下一个互联网新形态的元宇宙曾经融入各个行业的多个场景，如游戏、语聊房、在线 K 歌、虚构演唱会、VR、AR 等，但对于语聊房、在线会议、虚构流动、在线教育等场景而言，3D 空间音频能够无效的加强用户在线上的互动、听觉体验。而对于 Metaverse、VR、AR、虚构演唱会、在线游戏而言，3D 空间音频则无望重构用户在虚拟世界的沉迷感与听觉体验。

■图 6：3D 空间音频局部利用场景

咱们将通过几个利用场景的案例来更直观的展现 3D 空间音频所带来的成果。

1、语音聊天室：在语音聊天室中，通过 3D 空间音频你能够听到来自房间前后、左右各处的 360° 音频，当你感触到来自四周的笑声时，感觉就像在加入一场实在的线下团聚，对于听众与发言者来说都不会感到平淡。再联合人声含糊性能，语音聊天室中还能激发“鸡尾酒会效应”，在多种声音混淆的环境中，你留神聆听某一种声音，并依然可能听清他在说什么，这就是“鸡尾酒会效应”，而用户能够缩小疲劳感，更加沉迷在聊天的环境中，并大幅晋升聊天时长。

2、在线游戏：游戏语音是很多在线游戏的标配性能，通过在游戏内退出实时的语音性能，能够不便玩家之间沟通、合作，更好的获得游戏胜利。但单纯的游戏语音计划更多是构建玩家之间沟通的桥梁，对于晋升游戏体验没有本质的作用，而通过将实时互动与 3D 空间音频联合，将重构游戏中玩家之间并肩作战的全新体验。例如在 FPS 游戏中，当队友通过具备 3D 空间音频的游戏语音与你实时沟通作战状况时，你能感觉到他就站在你的左边向你收回防御指令，好像真的在线下一起加入真人 CS，这样的游戏体验简直颠覆了传统的游戏语音沟通体验，将本来单纯的游戏语音互动性能变成了加强游戏沉迷感与协同感的外围性能。

3、虚构演唱会：虚构演唱会 / 音乐会是当下新兴的一种线上演唱会模式，演唱者可通过动作捕获技术化身虚构的形象投影到虚构舞台中，用户也会变身虚拟人在虚构舞台下欢呼，在退出 3D 空间音频后，无望颠覆虚构演唱会的听觉体验。当观众化身虚拟人坐在舞台下观看演唱者表演，他能“声临其境”的听到来自各个角落的声音，从舞台的左右两侧到地方的歌唱者再到四周观众的各个地位，犹如置身在实在的演唱会环境中，对于演唱者而言同样如此。

相比语音聊天室、在线会议，虚构演唱会是否胜利的关键在于演唱者的歌声与听众听到的歌声是否好听，3D 空间音频则从实质上扭转了歌声传递到听众耳朵中的听觉体验，并补救了虚构演唱会始终缺失的“现场气氛感”，将来观众在虚构演唱会的沉迷感与听觉体验无望不输线下演唱会。

不论是当下的各类线上流动还是将来的元宇宙虚拟世界，玩家之间的交换、互动都离不开 RTE 实时互动，因而 RTE 也被视为元宇宙底层基础设施之一。而插入 3D 空间音频，新的空间信息被引入到虚构体验中，使观众可能齐全独立于他们的眼睛感知本人身后或虚拟环境中其余中央产生的事件，在建设用户之间实时互动的同时，RTE 也将成为帮忙元宇宙场景减少临场感与沉迷感的基础设施，构建更真切、更前沿的音频元宇宙。

正文完