近日，阿里云视频云音频技术团队与新加坡国立大学李海洲传授团队单干论文《基于时频感知域模型的单通道语音加强算法》(Time-Frequency Attention for Monaural Speech Enhancement) 被 ICASSP 2022 接管, 并受邀于往年 5 月在会议上向学术和工业界做钻研报告。ICASSP（International Conference on Acoustics, Speech and Signal Processing）是全世界最大的，也是最全面的交融信号处理、统计学习、及无线通信的语音畛域顶级会议。
七琦|作者
本次单干论文提出了交融语音散布个性的 T-F attention (TFA) 模块，能够在简直不额定减少参数量的状况下显著进步语音加强的主观指标。
arxiv 链接：https://arxiv.org/abs/2111.07518
往期研究成果回顾：
INTERSPEECH 2021：《Temporal Convolutional Network with Frequency Dimension Adaptive Attention for Speech Enhancement》
链接：
https://www.isca-speech.org/a…
1. 背景
语音加强算法旨在去除语音信号中的背景噪声等多余信号成分，它是许多语音解决利用的根本组件，例如在线视频会议与通话，智能短视频剪辑，实时视频直播，社交娱乐与在线教育等。
2. 摘要
目前大多数对于语音加强的监督学习算法的钻研中，通常没有在建模的过程中明确思考时频域（T-F）示意中语音的能量散布，而其对于精确预测掩码或频谱至关重要。在本文中，咱们提出了一个简略而无效的 T-F 注意力（TFA）模块，使得在建模过程中能够显式引入对语音散布个性的先验思考。为了验证咱们提出的 TFA 模块的有效性，咱们应用残差时序卷积神经网络（ResTCN）作为根底模型，并应用语音加强畛域中两个罕用的训练指标 IRM [1]（The ideal ratio mask）和 PSM [2]（The phase-sensitive mask）别离进行了摸索试验。咱们的试验结果表明，利用所提的 TFA 模块能够在简直不额定减少参数量的状况下显著进步罕用的五个主观评估指标，且 ResTCN+TFA 模型始终以较大的劣势优于其余 baseline 模型。
3. 办法解析
图 1 展现了所提 TFA 模块的网络结构，其中 TA 和 FA 模块别离以彩色和蓝色虚线框标识。AvgPool 和 Conv1D 别离为 average pooling 和 1-D convolution operation 的缩写。⊗ 和 ⊙ 别离示意矩阵乘法和元素级乘法。
图 1
TFA 模块以变换后的时频示意 \(Y∈ \mathbb{R} ^{L×d_{model} } \) 为输出, 利用两个独立的分支来别离进行 1-D time-frame attention map \(T_{A} \in \mathbb{R} ^{L\times 1} \) 和 1-D frequency-dimension attention map \(F_{A} \in \mathbb{R} ^{1\times d_{model} } \) 的生成，而后将其交融为最终须要的 2-D T-F attention map \(TF_{A} \in \mathbb{R} ^{L\times d_{model} } \)，最终的后果能够重写为：\(\widetilde{Y} =Y\odot TF_{A} \)。
4. 试验后果
训练误差曲线
图 2-3 显示了每个模型在 150 epoch 训练中产生的训练和验证集误差曲线。能够看出，与 ResTCN 相比，应用了所提出的 TFA（ResTCN+TFA）的 ResTCN 产生的训练和验证集误差显著升高，这证实了 TFA 模块的有效性。同时，与 ResTCN+SA 和 MHANet 相比，ResTCN+TFA 实现了最低的训练和验证集误差，并显示出显著的劣势。在三个 baseline 模型中，MHANet 体现最好，ResTCN+SA 优于 ResTCN。此外，ResTCN、ResTCN+FA 和 ResTCN+TA 之间的比拟证实了 TA 和 FA 模块的效用。
图 2 IRM 训练指标下的训练误差曲线
图 3 PSM 训练指标下的训练误差曲线
语音加强主观指标评估
咱们应用了五个指标用于对加强性能的评估，包含 wideband perceptual evaluation of speech quality (PESQ) [3], extended short-time objective intelligibility (ESTOI) [4], 以及三个综合指标 [5], mean opinion score (MOS) predictors of the signal distortion (CSIG), background-noise intrusiveness (CBAK), overall signal quality (COVL)。
表 1 和表 2 别离显示了每个信噪比等级下（含四个噪声源）的均匀 PESQ 和 ESTOI 分数。评估结果表明，咱们提出的 ResTCN+TFA 在 IRM 和 PSM 上的 PESQ 和 ESTOI 方面始终比 ResTCN 获得显著改良，且参数增量能够忽略不计，这证实了 TFA 模块的有效性。具体而言，在 5 dB 条件下，IRM 训练指标下的 ResTCN+TFA 相比 baseline ResTCN 来说，在 PESQ 指标上进步了 0.18，在 ESTOI 指标上进步了 4.94%。与 MHANet 和 ResTCN+SA 相比，ResTCN+TFA 在所有状况下都体现最好，并且体现出显著的性能劣势。在三个 baseline 模型中，整体看下来成果排名是 MHANet > ResTCN+SA > ResTCN。同时，ResTCN+FA 和 ResTCN+TA 相比 ResTCN 也有了可观的改良，这进一步证实了 FA 和 TA 模块的有效性。
表 3 列出了所有测试条件下的均匀 CSIG、CBAK 和 COVL 分数。与在表 1 和表 2 中察看到的趋势统一，所提的 ResTCN+TFA 在三个指标上显著优于 ResTCN，并且在所有模型中体现最好。具体而言，与 ResTCN 相比，PSM 训练指标下 ResTCN+TFA 的 CSIG 进步了 0.21，CBAK 进步了 0.12，COVL 进步了 0.18。
对于阿里云视频云音频技术团队
阿里云视频云音频技术团队，专一于采集播放 - 剖析 - 解决 - 传输等全面的音频技术，服务于实时通信、直播、点播、媒体生产、媒体解决，长短视频等业务。通过神经网络与传统信号处理的联合，继续打磨业界当先的 3A 技术，深耕设施治理与适配、qos 技术，继续晋升各场景下的直播、实时音频通信体验。
参考文献
[1] Y. Wang, A. Narayanan, and D. Wang,“On training targets for supervised speech separation,”IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 22, no. 12, pp. 1849–1858, 2014.
[2] H. Erdogan, J. R. Hershey, S. Watanabe, and J. Le Roux,“Phase-sensitive and recognition-boosted speech separation using deep recurrent neural networks,”in Proc. ICASSP, 2015, pp. 708–712.
[3] R. I.-T. P. ITU,“862.2: Wideband extension to recommendation P. 862 for the assessment of wideband telephone networks and speech codecs. ITU-Telecommunicatio.
[4] J. Jensen and C. H. Taal,“An algorithm for predicting the intelligibility of speech masked by modulated noise maskers,”IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 24, no. 11, pp. 2009–2022, 2016.
[5] Y. Hu and P. C. Loizou,“Evaluation of objective quality measures for speech enhancement,”IEEE Trans. Audio, Speech, Lang. process., vol. 16, no. 1, pp. 229–238, 2007.
「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实际技术文章，在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。