导读
随着音视频会议、娱乐互动直播、在线教育产品的炽热倒退，产品中令人愉悦的音效音质体验是必不可少的。但在音视频实时通信中，难免会遇到各种咱们不心愿呈现的声音，例如电流声、键盘敲击声、嘈杂声等，这些统称为噪声。克制这些声音的技术为降噪。本文咱们将从语音降噪的概念动手，详细分析常见的几种语音降噪技术实现以及网易云信在语音降噪上的利用。
什么是语音降噪
咱们先来看看什么是语音降噪。语音降噪（或语音加强）是指当语音信号被各种各样的背景噪声烦扰、甚至吞没后，尽可能地从带噪语音信号中提取有用语音信号（或污浊语音信号），克制或升高噪声烦扰的技术。语音降噪有两个次要作用：
- 升高背景噪声烦扰，改善语音品质，晋升听者的舒适感
- 进步语音信息传播的可懂度
语音降噪分类
语音降噪能够从不同的维度进行划分，个别能够从录音的通道数或者降噪办法有无监督进行划分，上面咱们次要剖析一下这两种划分状况。
按通道数划分
根据采集语音时麦克风数量的不同，划分为单通道办法和麦克风阵列办法。
单通道办法 的语音降噪对单个麦克风录制的语音信号进行解决，只利用了时域与频域的信息，其对硬件老本要求较低，然而因为短少空间信息，降噪更为艰难。
麦克风阵列 语音降噪对麦克风阵列采集的语音信号进行解决，不仅利用了时域与频域信息，还利用了空间信息，因而在克制特定方向的烦扰和对不同声源进行拆散等方面具备劣势，能够在更简单声学环境和远场环境中实现语音加强。
在音视频会议、直播等场景中，多应用 PC 端、手机设施，是典型的单通道语音降噪场景，云信目前也次要提供单通道的语音降噪能力。
按钻研思路不同划分
从钻研思路不同进行划分，音频降噪算法能够分为传统信号处理办法与深度学习办法。这两种办法各有优劣，次要区别有以下几点：
原理上的区别
- 传统信号处理算法 大多基于物理和数学原理推导，这些原理是基于人类的认知倒退而来的，适用性强，所以零碎个别有比拟好的鲁棒性。
- 深度学习算法 更多是利用大量的语音数据或噪声数据，训练网络学习相干的特色从而实现降噪，性能的决定因素来自于训练集的大小、训练集的代表性、应用的模型、训练过程和准则等，性能的变动范畴较大，零碎在新环境下鲁棒性较差。
假如上的区别
- 传统信号处理算法 为了简化计算或取得解析解做了很多假如和简化，这可能会限度语音降噪的下限，难以解决非安稳噪声。
- 深度学习算法 通常不须要这些假如，其外围特定就是模型是简单非线性的，因而在大量训练数据和较好模型设计的前提下无望获得更好的性能。
应用环境的区别
- 传统信号处理办法 个别具备小计算量、低提早等劣势，容易满足实时性要求。
- 基于深度学习的办法 往往模型较大、计算资源要求较多，一方面会限度其在计算资源无限的零碎中的应用，另一方面难以保障实时通信需要。
接下来咱们将对这两类降噪办法进行介绍与剖析。
传统信号处理办法
传统单通道降噪办法类别
传统单通道降噪通过几十年的倒退，品种繁多，次要有谱减法、维纳滤波、子空间法、基于最小均方误差的语音幅度谱估计办法等。
谱减法 基于一个假如：噪声是加性噪声且具备平稳性，因而在初始的非语音段音频中预计出噪声谱，再从带噪语音谱中减去预计的噪声谱就能够失去洁净的语音谱。然而，该减法解决的代价在于过多减去噪声谱则会去掉局部语音信号；过少减去则会残留噪声，将产生令人恶感的音乐噪声。
维纳滤波办法 对语音信号复频谱生成了一个线性预计器，该估计值在均方意义上性能最优。维纳滤波办法不会产生音乐噪声，使解决后语音信号听起来更为舒服，然而它是对信号安稳条件下的最小均方误差预计，因而对于非安稳噪声克制成果不佳，而且容易造成语音失真。
子空间算法 将带噪语音信号的向量空间合成为信号子空间与噪声子空间，尽可能保留信号子空间重量且去除噪声子空间的重量，可能在肯定水平上克制噪声，然而子空间法须要对每一帧语音进行奇怪值合成或特征值合成，计算代价高，不适用于实时语音降噪。
基于最小均方误差的语音幅度谱估计算法 是传统语音降噪算法中具备反动意义的办法，于 1984 年 由 Ephraim 和 Malah 提出。随后，思考到人耳对语音频率的非线性感知，他们推导出基于最小均方误差的对数谱估计办法。2001 年，Cohen 提出最优改良对数谱幅度预计办法，它的设计准则是最小化洁净对数谱与预计对数谱的误差，首先利用最小值管制递归均匀办法预计噪声，再顺次预计先验、后验信噪比、语音存在概率，最初计算频谱增益函数预计出洁净语音。尔后，改良的最小值管制递归均匀办法预计噪声被提出，具备预计误差更小且对非安稳噪声跟踪更快的特点，此办法失去了广泛应用。
传统降噪的实现
目前业界罕用的开源算法之一是 WebRTC 中噪声克制模块算法，其核心思想是采纳维纳滤波器克制预计进去的噪声。
其算法流程图如图所示：
- 信号剖析：对输出帧语音进行加窗，疾速傅里叶变换（FFT）失去频域数据。
- 噪声预计与克制：应用分位数噪声预计进行初始噪声预计、后验和先验 SNR 的裁决疏导更新、语音 / 噪声概率计算，概率计算是基于似然比因子进行的。似然比应用后验 SNR、先验 SNR 以及语音概率密度函数模型，还有特色建模、噪声预计更新并利用维纳滤波增益滤波器确定的概率而确定的。
- 信号合成：将频域数据通过 IFFT、窗口合成转为时域数据。
WebRTC 降噪算法对于安稳背景噪声（如风扇、家用电器等噪声）具备良好的克制成果，但对于低信噪比和瞬变噪声场景成果不佳。
网易云信 在 WebRTC 噪声克制模块根底上 自研了流动检测 (VAD) 算法，辨别语音与噪声，并且以此调整噪声预计办法，优化了噪声收敛工夫与降噪力度。
深度学习办法
传统信号处理办法具备计算量小、可实时降噪解决的劣势，然而难以解决非安稳噪声场景，而理论会议中，嘈杂噪声、键盘敲击声等非安稳噪声是用户痛点，极大的影响听感舒适度。近年来，深度学习办法显著晋升了有监督工作性能，在语音降噪工作中开始呈现一些数据驱动类算法(即 AI 算法)。相较于传统信号处理办法难以解决多样性、突发性非安稳噪声的弊病，深度学习办法在大量训练数据和较好模型设计的前提下可能获得更好的降噪性能。
深度学习办法类别
基于深度学习办法大抵可分为三类，基于频谱映射的办法、基于时频掩码的办法、端到端办法。
- 基于频谱映射的办法，次要通过深度神经网络弱小的非线性建模能力来建设带噪语音谱参数与污浊语音谱参数之间的映射关系。
- 基于时频掩码办法，其核心思想是通过训练深度神经网络预测时频掩码，它反映了各个时频单元上对噪声的克制水平，而后将预测的掩码利用于输出带噪语音的频谱来重构污浊语音信号。常见的时频掩码有现实二值掩码、现实比例掩码、相敏掩码、复比例掩码等。
- 端到端语音加强，则是间接在工夫域波形级上进行操作，通过模型间接输出带噪语音波形失去加强后波形。
基于深度学习的降噪办法（AI 降噪）可能获得更好的降噪性能，然而其模型较大、计算复杂度高。对于运行在挪动终端的实时算法来说，计算复杂度须要满足实时性、CPU 占用率、内存占用率等必须比拟小。一般而言，模型的性能耗费与其输入成果，综合来看是一种平衡的关系。然而在降噪场景下，算法既须要长时间实时运行，又须要保障算法成果可能应答复杂多变噪声场景，这对现有降噪技术提出了肯定的挑战。
网易云信自研 AI 降噪算法
网易云信自研 AI 降噪算法 将传统信号处理办法与深度学习类办法相结合，利用私有化大数据集训练模型，并且采纳了轻量级模型设计与模型裁剪等伎俩, 节俭计算资源，反对挪动端实时加强。它能够无效克制传统降噪算法解决不了的嘈杂噪声、键盘声、鼠标声等突发噪声，同时也可能晋升对于安稳噪声克制，提取更清晰的人声。
上面是一个案例展现网易云信自研 AI 降噪算法成果，左图为是办公室场景下带噪语音波形图与语谱图，右图为降噪后波形图与语谱图：
以下为应用网易云信前后的降噪文件比照，也能够更直观感触到应用网易云信自研 AI 降噪算法后的降噪成果。
总结
本文简述了常见的传统语音降噪与 AI 降噪技术，以及网易云信在该畛域的利用。传统降噪技术对于安稳噪声解决良好，但对于非安稳，突发的声音的降噪往往无能为力。
网易云信提出自研 AI 降噪算法，充分利用深度学习网络对语音和噪声特色的学习能力，无效克制环境中的各种乐音。今后，网易云信将在 AI+ 实时音频解决上继续推动钻研，致力于为用户提供更好的音频通话体验。
作者介绍
飒飒，网易云信音视频算法工程师，次要从事噪声克制、回声打消、音视频语音加强等相干工作，目前负责网易云信音频前解决噪声克制算法开发与优化。