乐趣区

关于音频:回声消除的昨天今天和明天

导读:回声打消是音频通话中最为简单的模块,对于音频通话质量起到至关重要的作用。始终以来,网易云信致力于提供良好的回声打消性能,为用户提供优异的音频通话质量。本篇文章中网易云信音视频开发专家将和大家独特回顾回声打消的历史,剖析回声打消的现状,并瞻望回声打消进一步倒退的方向。

文|网易云信音视频开发专家

历  史

回声是一种物理和生理独特作用产生的声学景象。原始声被反射后反射声和原始声的延时超过 100ms 时,人耳能够听到拆散的两个声音,个别在空阔的山谷这一类中央容易听到回声。

通话中听到的回声个别有两种,线路回声和声学回声。

线路回声是因为在长途电话线网络中,存在二四线转换的问题。本地电话—般是用二线电路连贯到中心局的,而短途线路的话,须要用四线电路,这两者之间须要用混合变换器进行连贯。混合变换器的引入使得传输的信号在混合变换器阻抗不匹配的状况下产生电路回声。

而咱们当初在数字通话中提到的回声个别是指声学回声,声学回声的起因是扬声器收回的声音被麦克风获取后传回远端,这样一来远端谈话者就能够听见本人收回的声音。

声学回声问题在晚期电话利用中并不凸显,次要是因为应用低延时的模仿技术并且通信间隔广泛较短。20 世纪中叶当前,因为卫星零碎倒退的须要提出了回声打消问题,已经采取的解决一种办法是应用切换的形式来隔断回音信号,这种办法尽管可能无效地隔断回声,然而却无奈平时一样天然地交谈。

随着通话回声日益受到重视,人们采取了各种各样的措施来对回声进行克制或打消。上个世纪六十年代以前,因为客观条件和技术的限度,人们采纳一种叫回声抑制器的办法来实现回声打消。

回声克制就是对回声进行肯定水平衰减以进步通信品质,然而回声抑制器只对很小的时间延迟才有良好的成果。随着卫星通信和 IP 电话的倒退,呈现了传输时延超过 100–300ms 的电路,对于这么大的时延,回声抑制器的工作成果很差,于是人们开始钻研新的回声打消技术,基于自适应滤波器的回声打消技术逐步成为支流方向

从 20 世纪 80 年代以来,随着回声打消技术从简略的回声抑制器到自适应回声消除器的倒退,国际电联 ITU 先后制 定了打消线路回声的 G165(Echo Canceller),打消音频终端回声的G167(Acoustic Echo Canceller) 及打消数字网络回波的 G168(Digital Network Echo Canceller) 等回声消除器相干规范。

现  状

实践上来说基于自适应滤波器架构并不是回声打消的惟一抉择,然而因为技术的限度和历史因循使得目前的回声打消根本都是 以自适应滤波器架构为根底

从回声打消的工作原理来看,它是一个典型的零碎辨识利用,辨识回声门路,利用参考信号和回声门路的卷积产生回声的预计,而后从混合输入中去除回声预计。应用自适应滤波器进行零碎辨识是一个很天然的抉择。

通过长时间的技术倒退,钻研人员在自适应滤波器的性能钻研上获得大量问题,对于回声打消罕用的自适应算法个性理解的比拟深刻。

一些罕用自适应滤波器算法个性如下:

1. 最小均方 (LMS,least-mean-square) 算法,是随机梯度算法族 中的一员。该算法在随机输出维纳滤波器递推计算中应用确定性梯度,其基本原理是使误差信号的均方误差最小,它的核心思想是用平方误差代替均方误差。LMS 算法简略,运算量小,很容易在通用的数字信号处理器上实现,然而 LMS 算法的收敛速度依赖于输出信号矢量的自相干均值的特征值扩散度,扩散度很大时,收敛速度将很慢。对于相关性较强的语音信号,LMS 算法的收敛速度会很慢。

  1. 为了克服经典的 LMS 算法收敛慢和对噪声较敏感的毛病,人们将滤波器系数矢量用输出信号的功率进行归一化,失去归一化最小均方 (NLMS) 算法 归—化技术缩小了收敛速度对输出信号功率的依赖性,其代价是计算量减少。但阶数增大时,减少的计算量绝对较少。简言之,在计算复杂性方面,NLMS 算法的计算效率与 LMS 算法相当。同时,当输出信号为语音时,NLMS 算法比 LMS 算法的收敛速度快,且稳定性好。因而,NLMS 算法比 LMS 算法更适宜于回声消除器的利用。

3.PNLMS 算法及其改良算法是对 NLMS 算法步长管制的批改。它的收敛速度较快,对稠密回声门路很无效。IPNLMS 算法是对 PNLMS 算法的改良,对回声门路 稠密性的要求不高。

4.AP 算法能够看成是 NLMS 算法的扩大。因为应用了更多的输出向量,收敛速率失去比 NLMS 算法更快的收敛速度。AP 算法的失调与输出矢量数 (即 AP 算法的阶数) 无关。随着阶数的减少,收敛速度放慢,然而收敛速度放慢的幅度在减小。减少阶数来进步收敛速度是以减少算法的计算复杂度为代价的。AP 算法的计算复杂度比 NLMS 高很多。AP 算法的收敛速度和计算量介于 NLMS 算法和 RLS 算法之间。

5. 和随机梯度算法不同,RLS 算法属于最小二乘算法。RLS 算法的收敛速度比 LMS 算法快—个数量级。随着迭代次数趋于有限,RLS 算法的额定均方误差收敛于零。然而,因为用了矩阵求逆计算,RLS 算法的运算量大,对于冲激响应超过百毫秒的回声信号的打消问题来说,其运算量大难以实现。

目前的回声打消模块大部分都是基于以上某一类算法或者其变种,在较为靠近现实状况下,现有自适应滤波算法均能失去较为称心的回声打消成果,然而这只是理论通话中少数工夫下的一个现实状态,理论通话状况简单的多。

本端噪声烦扰,信号门路中的非线性变换,单方同时讲话,非实时操作系统带来的数据延时抖动等,都是一个通用 回声打消模块须要解决的问题

例如当存在显著的近端声音时,基于现有各种自适应滤波算法的回声消除器的性能将产生好转,甚至不能保障自适应滤波算法的收敛。这就是回声打消在理论利用中的必须解决的关键问题,通常称为 双端发声 (Double-talk) 问题 。以后针对这一状况,最罕用的办法就是退出 双端通话检测器(Double Talk Detector,DTD),当单方同时讲话时让自适应滤波器锁定或者慢变来避免自适应过程发散。

如何在实时通话状况下对这些附加问题上给出称心的逻辑和精密调整对于产品化十分重要,也是目前导致产品性能差别的次要起因。以后商用产品中的回声打消模块少数状况下都能获得称心的成果,然而在某些非凡状况下都会有解决不善的中央,对更高通话品质的要求仍然是钻研更好的回声打消模块的能源。

未  来

因为通话回声问题的复杂性,对回声打消模块成果晋升的需要始终存在。以后计划的固有问题使得前述一些关键问题很难获得突破性停顿。因为近年来设施算力的进步以及技术的倒退,一些新的计划也被提出。以 Volterra 滤波器为根底的非线性滤波器解决方案,基于 ICA 和深度学习的回声打消算法钻研等也开始呈现,基于线性自适应滤波器架构的回声打消算法面临挑战。

然而还没有另外一个架构能像以后的自适应滤波器架构一样被广为应用,短期内回声打消算法仍然还会作为一个常见技术话题存在。

网易云信在回声打消逻辑改善和新计划钻研上继续推动钻研,致力于为用户提供更好的音频通话成果。

* 各渠道文章转载需注明起源及作者

退出移动版