乐趣区

关于rtc:提升-RTC-音频体验-从搞懂硬件开始

前言

RTC(实时音视频通信)技术的疾速倒退,助力了直播、短视频等互动娱乐模式的遍及;在寰球疫情继续蔓延的态势下,云会议需要出现爆发式增长,进一步推动了 RTC 行业的疾速倒退。为了给客户提供稳固牢靠的服务,网络系统方面须要一直晋升频道连通率,升高会议过程中的断流率,加强抗弱网能力;视频方面须要晋升视频清晰度,升高视频卡顿率等,音频方面在谋求端到端 MOS 的同时,也要重点关注音频 3A 算法的成果,这些都是各厂家必须修炼的“内功”,也是最终积淀下来的外围竞争力。本文将重点论述硬件设施采集的音频品质对 RTC 端到端音频体验的重要性。

采集品质不佳,会有什么影响?

在 RTC 架构中,端到端的音频信号处理流程大抵如下图,上行别离通过了音频信号的采集,音频 3A(AEC: 回声打消、ANS: 自适应降噪和 AGC: 自动增益管制)和编码;上行别离通过丢包复原,解码,混音和播放。


端到端的音频信号处理流程

不难看出,音频信号通过模数转换,再通过设施集成的音频信号处理芯片,最初才传递给 RTC SDK。因为硬件厂商的不同,音频采集解决方案参差不齐,因而采集到的音频品质的好坏间接影响着 3A 算法拿到的生产资料的可用性,同时也决定这最终用户接管到音频信号品质的下限。依据理论工作中遇到的音频问题,因为设施采集引起的问题根本能够演绎为如下几类:

举几个例子:

(1)采集异样

采集异样次要体现在频谱“含糊”,重大的会导致无奈听懂语义,影响失常交换。如下语谱图。

另外,采集异样后,播放的信号被麦克风采集后也会体现出异样,从而引起重大的非线性失真,影响回声打消成果,如下图。

(2) 采集抖动

常见的就是采集丢数据,听感上会听到有很多高频噪点(下图为上图中噪点放大后的部分图),重大的会影响 AEC 算法中对延时预计准确性和远近端非因果问题,重大的会导致漏回声。

(3)爆音和音量小问题

采集爆音问题次要产生在 PC,也是 PC 端设施最应该防止的问题,影响较大,除了截顶导致的频谱失真之外,重大的非线性失真会影响回声打消成果。爆音问题须要 AGC 算法通过自适应调节 PC 端模仿增益以及麦克风增强解决。

(4)频谱缺失

频谱缺失次要是硬件回调的音频采样率与理论的频谱散布不统一,即便编码器给到很高的编码码率,听感上也没有高音质的成果,如下图,采集信号采样率为 48kHz,然而频谱下限却只有 8k。

改善采集音质,硬件层面咱们能做什么?

具备 RTC 能力的硬件设施早已浸透咱们生存的方方面面,常见的如挪动端手机和 PC,当初甚至连儿童电话手表,天猫精灵以及各种高端的指纹密码锁等设施都反对了 RTC。然而,设施的多样性间接决定这采集能力的差异性,抛开声学元器件设计差别这一因素,就 Android 端而言,芯片和软件系统的差别使得同一品牌的手机,也没方法用同一种配置适配所有型号的手机。

另外,当初绝大多数的挪动端设施都自带硬件音频信号处理(后称硬件 3A)能力,不同芯片成果方面也是千差万别的同时,更重大的是通过硬件解决的音频信号频谱往往会有缺失,如开启硬件 3A 后回调到 RTC SDK 的音频信号频谱下限仅反对到 8k,相当于 16kHz 采样的音频信号,尤其在娱乐方面根本无法满足咱们对高音质的谋求。因而,做好硬件层的适配工作,是保障 RTC 高质量音频体验的根底。

Android 端

(1)须要搞清楚 javaaudioclass 和 opensles 这两种模式的差别,以及各自须要适配的参数,把握敞开硬件 3A 的配置。

(2)采集抖动或音频音量异样,能够试试更改申请的采样率,通常设置的 48k 采样不会实用于所有的 android 设施。

Windows 端

(1)以后很多 Windows 设施会在屏幕顶端内置麦克风阵列,提供音频加强性能,开启形式如下图。这个性能默认屏幕正前方夹角区域为拾音区域,通过麦克风阵列技术能够无效的加强拾音区域内发言人语音,“隔离”拾音区域以外的“噪声”,其次要的弊病就在于开启此性能后仅反对 8k 频谱,且各厂家加强算法存在差别,成果也参差不齐。因而,软件须要具备可能 bypass 硬件自带音频加强性能的能力,为高音质做保障。


Windows 设施自带的双麦阵列(图片来源于网络)


音频设置中的加强性能开关


开启音频加强后,带来的频谱缺失

(2)音量方面,PC 端设施都反对模仿增益调节,大多数带有阵列的 Windows 设施都有额定的麦克风增强(如下图)。软件算法层面(3A 中的 AGC)须要具备自适应调节他们的能力,保障音频采集音量的安稳以管制采集底噪程度。初值设置或自适应调节不当都会导致音量小和爆音等问题,重大的会影响回声打消和降噪的成果,带来影响可用性的危险。


模仿增益与麦克风增强

苹果设施

(1)ios 端适配工作较少,须要相熟敞开硬件 3A 的配置,因为 ios 设施自带的硬件 3A 频谱也只能反对到 10k-12k。

(2)Mac 笔记本设施比较简单,仅提供了模仿增益调节。然而有一点须要留神,RTC 在反对双声道播放时,因为麦克风会与某个扬声器在同一侧,导致播放音频时左近的麦克风采集爆音问题,个别只能优化软件 AEC 算法解决。

总结

当 48k 高音质成了刚需,为了保障采集环节的高质量,一方面须要投入工夫去把握 Android 参数适配的法则,同时市面上呈现的越来越多的定制化的 android 设施(手表,智能音箱等),也必不可少的须要先确定好配置参数;另一方面敞开硬件设施自带的音频解决性能,启用 RTC 自带的纯软 3A 算法也是一种趋势,前提是要优化好软件 3A 算法整体成果以及管制好功耗,这也是客户评测各厂家之间音频体验的必测项,也是各厂家的外围竞争力之一。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

退出移动版