关于人工智能:音频-AI-算法在-RTC-中的实践

导读：2021 年 10 月 21 日，「QCon 寰球软件开发大会」在上海举办，网易智企技术 VP 陈功作为出品人发动了「AI 时代下的交融通信技术」专场，邀请到网易云信、网易音视频实验室、网易云音乐的技术专家与大家一起分享交融通信技术趋势和演进方向、视频通信关键技术摸索及实际、音频 AI 算法在 RTC 中的实际、网易云音乐网络库跨平台化实际等话题。

咱们会针对四个演讲专题逐个进行介绍与分享，本期是咱们的第三期，音频 AI 算法在 RTC 中的实际。

嘉宾介绍： 郝一亚，网易云信音频算法专家，IEEE 审稿人。发表学术期刊 / 论文 15 篇，申请专利 7 项。曾参加美国卫生局 NIH 助听器音频算法我的项目、Apple AirPods 音频算法研发、Facebook Reality Labs AR/VR 音频我的项目、以及 Zoom Video Communications 实时音频算法研发工作。目前在网易云信次要负责音频实验室搭建、3A 算法研发、AI 音频算法研发以及 RTC 音频规范制订。

前言

随着人工智能技术、计算机技术、神经网络等畛域的一直倒退，AI 音频算法也在学术界和其余行业不断涌现，包含了线上实时通信 Real-Time Communication（RTC）畛域。

从 2013 年开始，无论什么行业都能够听到，这个货色拿 AI 做成果十分好，这个技术我要用智能化去做，感觉万物皆可 AI，万物皆可智能，所有货色都能够用 AI 去做，并且做进去的成果都十分好。

但实际上很多技术还是在用传统的办法，比方在音频畛域，更多的还是用基于信号处理这些积攒了数百年的办法。AI 的办法还停留在实验室阶段，停留在仿真阶段。

本次分享将从“RTC 利用 AI 音频算法的难点”、“AI 音频算法落地的解决方案”、“网易云信 AI 音频算法落地案例”三个维度，和大家分享 AI 音频算法和 RTC 的实战经验。心愿大家通过这一场分享，能对这些问题有新的意识和认识，也能从中失去一些灵感，无论是在音频 AI 或 RTC，甚至于其余行业中.

AI 音频算法落地的难点

AI 音频算法的趋势

下图是 Tsahi 提出的，在 RTC 畛域，AI 音频算法的趋势。图中的横坐标代表工夫的倒退，纵坐标是算法的品质。

如果是降噪算法能够了解为这个降噪算法的降噪力度 / 降噪量，以及降噪同时对语音的爱护。

橙色这条线代表基于数字信号处理的传统办法。这类算法倒退了数百年，然而随着趋势的倒退，目前这些算法在优化过程中遇到了很多瓶颈。比方传统算法须要一些预设条件，要在这种条件下能力达到目标成果。然而当初的利用中，理论的业务场景非常复杂，比方线上的娱乐场景、会议场景。在这些场景中，有用信号和噪声信号非常复杂的混叠在一起，很多状况下都无奈满足算法的预设条件。因而，在优化过程中单单利用传统算法是十分难冲破的。

基于 AI，或者说 data-driven 的算法，倒退绝对较为迟缓，我认为起因之一是受困于咱们的计算机硬件的算力。但随着算力一直晋升，其倒退速度会越来越快，在将来会在某种程度上取代传统算法。而 Tsahi 认为，咱们以后刚好处在这两者旗鼓相当的地位，我集体感觉咱们的工夫节点偏左一点，因为目前很多 AI 算法还不能代替传统算法，传统算法仍然是目前 RTC 畛域的基石。而 AI 算法，咱们更多的是去利用它的个性去解决非凡问题。

为什么说最初的趋势是 AI 算法的倒退会越来越快？最重要的起因之一还是算力的晋升，左边这张图从一个维度展现了算力的晋升。从图中能够看出，自 2000 年开始，supercomputer 的算力以每五年十倍的增长趋势倒退。

AI 音频算法利用到 RTC 中的艰难

咱们当初的 AI 音频算法在 RTC 中遇到的艰难是哪些呢？次要是这三个方面。

计算复杂度：当 AI 模型比拟大时，算力需要也会比拟大。在 RTC 服务中，很多算法是须要落地在终端设备上的，而这些设施包含了一些中低端设施。在这些设施上，AI 算法能不能无效的运行起来，是咱们掂量这个 AI 算法能不能被利用的重要规范之一。除此之外，RTC 的整个解决 pipeline 中有很多算法，而一个终端设备的计算资源又是无限的，怎么正当地调配算力资源也是对 AI 算法的一个挑战。

泛化能力、鲁棒性：泛化能力是指一个 AI 模型在学习了 Training Data 所波及的场景之后，在其余未见过的场景中的拓展能力。鲁棒性是指 AI 模型在各个场景下，它的成果能不能维持在一个比拟好的程度。这两个点都是 AI 音频算法落地 RTC 的艰难点，因为 RTC 中设施和场景都很多样。晚期的 RTC 更多了解为会议，这个场景绝对比拟繁多，因为整个声学场景绝对比拟关闭，是室内的，而且采集信号相对来说失真都比拟小。这在 RTC 算是一个比拟好的场景。然而咱们当初面对的 RTC 场景十分丰盛，比方当初网易云信主攻的三个行业之首 - 娱乐行业。娱乐行业的场景相比会议场景简单很多。其一是咱们的 Desired Signal 可能不仅仅是语音了，还有可能音乐信号。而当初的 WebRTC 的很多音频算法都对音乐信号不敌对。除此之外，简单场景会带来简单的背景噪声。比方马路上汽车的噪声，不仅仅是对于降噪算法很有挑战的瞬态噪声，而且 SNR 也相当低。而要利用一个 AI 算法，须要在无限的数据集外面去思考到多种可能呈现的场景。

AI 音频算法落地的解决方案

咱们刚刚讲的是 AI 音频算法的整体趋势和挑战。下一个章节咱们分两个局部来讲，第一块以 AI 降噪为例，咱们讨论一下落地 AI 算法过程中，具体落地的时候会存在哪些挑战。第二局部，咱们以 VAD 算法为例，通过对传统算法、Machine-Learning 算法、深度学习算法这三者之间进行比拟，来剖析一下 AI 算法，特地是基于深度学习算法的劣势。

AI 音频算法落地 RTC 过程中的艰难实例

以 AI 降噪为例，看一下具体落地当中的一些艰难。

第一个还是计算复杂度。首先，在 RTC 中，音频是须要进行实时处理的，所以输出信号都是音频流，是间断的帧。咱们假如每一帧都是一组十毫秒的音频采样数据，实时处理就是要保障在 i+1 帧来之前，解决完第 i 帧的数据。而这十毫秒就是最大的 process time。如果呈现了在 process time 无奈解决完的状况，就会呈现失落采样点，这对音质有十分重大影响。AI 算法要达到实时处理，对于略微大一点模型是比拟有难度的，所以在很多 AI 音频较量外面会专门有一个能 real-time 的 track。然而实时运行对于 RTC 来说只是十分根底的第一步，只是保障咱们能实时处理了，然而没有涉及实时率的问题。纵观整个音频 APM 解决，AI 降噪只是其中的一个模块，其余还包含了 AEC、AGC、VAD 等模块。

除此之外，在音频解决之外，还有其余的模块解决，比方视频解决、网络拥塞管制等等。咱们的工作是，须要让这么多算法同时满足 real-time 的要求，并且要同时尽量去升高解决 CPU 的占用率，去升高咱们的 SDK 在用户设施上的 CPU 开销和耗电量。

第二个难点就是 Data。能够说 AI 算法最重要的就是 Data。实现一个 AI 算法，只有有 Data，就曾经胜利了一大半了。但音频算法的 Data 相比其余的一些畛域绝对较少。咱们在开发 AI 算法时候，次要通过一些开源数据集和实验室实在设施录制来建设数据集。同时，咱们也使用了一些数据加强的办法去裁减数据集。在音频算法中，AI 降噪的数据集是绝对比拟好做的，因为开源数据绝对较多，数据 label 也比拟好操作。然而对于另一些音频算法来说，收集、label 数据集是一个相当艰巨的工作，比方咱们的 AI 啸叫检测算法，目前在互联网上是根本没有对于啸叫的数据集的，而且啸叫信号的采集和 label 也是比拟有挑战的。

尽管有这么多挑战，咱们云信音频实验室也始终在一直积攒数据，一直的去裁减语料库。咱们也遍历不同的终端设备，用它们的麦克风去采集，这样能够把更实在的麦克风和房间响应退出数据集中。这对于要利用在不同终端设备上的 AI 算法来说十分重要，因为咱们须要 AI 模型在训练中去学习不同的麦克风和房间的响应。

有了数据后，咱们在调参过程中也遇到了艰难。

比照一下传统算法，这是一个基于 MMSE 的传统降噪算法：左上角信号进来了，通过 FFT 咱们能够拿到信号的幅度和相位，而后咱们能够算出先验 / 后验信噪比，算出 Gain，而后把 Gain 作用在信号幅度上，之后和相位叠加做 iFFT 失去输入的时域信号。咱们在调试这个算法时，如果发现误把语音当做噪声给压掉的状况，咱们能够把那几帧信号拿进去，分段的对算法中每个模块的输入值来剖析，找出问题。为什么咱们能够这样做？起因是这里的每个参数都有具体的物理意义。然而针对深度学习的办法，整个算法其实是一个黑盒，例如一个卷积神经网络，入参被一层一层卷起来，每一层的两头参数无奈对应一个具备物理意义的值，那咱们在优化过程中也无奈去定位问题。尽管咱们在算法优化中遇到了这些问题，然而咱们也通过一直的经验总结，积攒了十分多的调参办法。尽管调参仍然是一个挑战，然而通过积攒咱们曾经有办法能够疾速找的适合的模型和对应参数，去解决不同的音频问题。

以上就是理论落地 AI 降噪的时候遇到的这三个最艰难的点。讲那么多 AI 算法的不好和艰难，AI 算法能带给咱们什么收益呢？

传统音频算法、Machine-Learning、AI 之间的抉择

咱们联合 VAD（Voice Activity Detection）来讲一讲各个算法之间的抉择。

下图中右图展现了一个 VAD 比照后果，下面局部是洁净的语音信号，VAD 要做的事件是把语音信号检测进去，在工夫维度上标为 1，其余就是 0，代表噪声。

咱们来看一下传统的 VAD 个别是怎么做的，这篇文章外面比拟有代表性，大家看右边的流程图，右边分为两块，左边是一个基于能量的 VAD，这是最通俗易懂的。比方当初在这个会场我在谈话，大家听到我的声音，声音必定是比环境的底噪要高的，SNR 是大于 0 的，那咱们就设一个能量门限值，高于这个能量的就是语音，低于这个能量的就是噪声。当然这里基于能量的 VAD 还做了很多其余的工作，包含能量怎么更精确的预计，门限值一直的适应新的环境和噪声。右边的这个办法是基于语音的其余 feature 的，比方频谱 Peak 等谐波信息。最初的这种办法是既联合了能量 VAD，又联合了频谱 Feature VAD 的一个办法，这也是这篇文章 propose 的办法，检测成果在这段音频中也是最好的。

再拿能量 VAD 举例，高于门限的是咱们的语音，低于门限的是噪声，那么这个就能够看作一个单 Feature 的 Classifier。如果用两个 feature，就能够像上面左上角的那张图那样示意。咱们能够认为红色的点就是噪声，蓝色的点就是语音。传统算法大多都是线性的辨别，就可能这样去切一刀，这样分了过后有很多蓝色的点会落在噪声的那边，也有很多红色的点会落在语音这边，这些就是错判和漏判。

有没有办法能把这个货色更高维度地把这两者辨别开呢？咱们能够引入 machine learning，能够更高维度的把这些点给抠出来，就像前面几张图展现的办法。咱们这里只提到用两个 feature，在解决理论问题中，咱们也经常用到更多的 feature，并联合不同的模型，从不同维度去做解决。

在云信的音频解决中，咱们有很多不同的 VAD，这些 VAD 的职责不一样，成果也不一样。上面我来介绍一下其中的一个 VAD。咱们先来看到两头的这两张图，这是两个时域的间断语音图，下面的语音和上面比照，能够看到被框出的这一段语音更密集，两头的噪声缝隙更小。咱们把这框出的五秒左右的音频切成一千份很小的时段，而后去统计每一小段的能量，统计完的能量放在左边这个直方图里。

能够看到下面这个直方图中，靠右边 -10dB 这个中央有一个峰，-35dB 也有一个峰。那么这里的 -10dB 的代表语音的均匀能量是 -10dB，-35dB 代表两头的这些噪声间隙能量是 -35dB。如果是统计上面这段语音，能够分明的看到上面直方图中 -10dB 也有一个峰，然而比下面直方图里 -10dB 地位的峰要小，阐明 -10dB 呈现的次数少，而 -35dB 的峰绝对变得显著了，因为它的噪声间隙次数增多了。在这个根底上，咱们减少了一步，基于数据用机器学习的模型去学习这两个峰，把这两个峰预计进去。所以即使是 SNR 比拟低，两个峰重叠的很厉害的状况，机器学习的办法也能把两者辨别开。

既然咱们用到了机器学习的思维，那咱们是否用更简单的模型去学习更多数据呢？那么上面咱们讲讲怎么用神经网络的办法去实现 VAD。这里介绍一个基于 CNN 的 VAD 算法，这个模型用到了三个卷积层和一个全链接层，应用了 Log-Mel Energy 作为输出特色，没有其余简单的设计，算是一个很间接的解决办法了。咱们能够看一下左边的后果，抉择这个后果是因为它是一个比拟难的 case，第一是因为 SNR 是 0dB，第二是因为它的噪声都是生存中的非安稳噪声。比照的办法中，G729 和咱们方才介绍的基于信号处理的 VAD 相似，Sohn 和 Random Forest 是基于统计学的办法，CNN 就是这个基于神经网络的办法。剖析后果咱们能够看到，基于统计学的办法在大部分噪声中不够好，反而还比 G729 低，而 CNN 的 VAD 在各个噪声中都是体现最好的。

我想总结一下，基于深度学习的 AI VAD 的劣势在于能够更深度的去辨别语音和噪声，算法能力下限会更高。比方瞬态噪声，传统算法基本上不去 cover 这种状况，然而 AI VAD 是能够解决的。然而它的弱点仍然是咱们之前剖析的复杂度、泛化能力等问题。

网易云信 AI 音频算法落地案例

方才讲了具体落地的时候遇到的具体艰难和为什么在这些艰难下，咱们还是要抉择 AI 算法。咱们当初来讲一讲云信是怎么解决这些问题的。

具体实现过程

方才有讲到 AI 降噪的问题，咱们的解决办法次要是右边这三点。

第一采纳更适宜的输出特色，一方面尽量减小输出特色量，以此来减小整个 model 的复杂度；另一方面是采纳更适宜当下问题的 feature 来作为模型的输出特色，抉择更能代表信号个性的 feature。这是咱们的第一个伎俩。

第二咱们采纳轻量级、更适合的网络，比方咱们在降噪问题中，抉择了 GRU 模型，因为它具备前后时序的记忆，并且相比 LSTM 更轻量级。在调参过程中，咱们也尽量去压缩网络层数，保障运算速度。

第三个伎俩是定向优化，定向优化货色蕴含比拟多，比方数据集优化，它包含了数据加强、数据荡涤等工作。还有对模型压缩，来减小模型大小。在将算法集成进 SDK 的过程中，咱们云信所有的基于 AI 的算法，都用的是咱们自研的 NENN 推理框架，进一步减速了咱们的 AI 模型的运算速度，升高了开销。最终，在不同终端设备上，包含了很多中低端的挪动设施，咱们的 AI 降噪在每 10 毫秒的帧上的运算工夫差不多是 100-200 微秒之间，实时率靠近 0.01。

还有一点值得一提，咱们的 AI 算法很多时候须要配合传统算法进行解决。比方在回声打消中，咱们能够把近远端信号和远端信号全副扔给 model 让它去训练，而后让这个 model 间接去解决整个 AEC 链路；咱们也能够把时延预计和线性解决用传统办法去做，把非线性解决独自拿进去用一个 AI 模型去训练。后者做到了几个工作之间的解耦，所以最初可能达到算法成果失去了晋升，且运算开销绝对前者也小很多。

云信落地 AI 算法实例

咱们当初落地的 AI 算法包含了 AI 降噪、AI 音频场景检测，还有一个 AI 啸叫检测，和 3D 音效没有放到 PPT 外面。AI 回声打消这一个模块正在落地。上面是 AI 降噪的 demo 视频。

点击原文观看视频

从这个 demo 能够看到，外面有很多难解决的突发噪声，然而咱们的算法都克制的十分好。不过在降噪的同时，咱们的人声也有发闷的感觉，针对这个问题，咱们当初 AI 降噪 2.0 也正在落地中，打算年底上线。新的这一版 AI 降噪在爱护语音品质上做得更好，对于洁净语音能做到根本无损。

最初还有一点想跟大家分享一下，借着当初很火的元宇宙，聊聊云信的 3D 音效。网易云信当初是惟一一家实现了 6DoF 空间音效的 RTC 厂商。

Facebook 最近公布一个残缺的空间音效技术（MSA），这张图展现了 MSA 能达到的所有能力，而云信的 3D 音效也达到了图中的所有能力，比方房间反射、远场衰减等。这里介绍两个云信 3D 音效的落地案例，左下这个是 FPS 游戏“荒野口头”，在这类游戏中，特效声比方枪声的方向感大家都很相熟，而云信的 3D 音效是在特效声之上，让开黑的队友语音也具备实时的方向感。

第二利用案例是网易雷火开发的沉迷式流动零碎 - 瑶台，这个零碎能够承接比方像 Qcon 这样的大型会议，把它变成一个全线上、全虚构的场景。参会者能够以一个虚构角色，以第一人称视角，沉迷式地去加入会议。云信 3D 音效在这个零碎中提供了实时的空间音效，让参会者能够听到虚构角色四周的实时语音，提供了更深刻、实在的沉迷式的体验。