在业界，实时音视频的 QoE（Quality of Experience）办法始终都是个重要的话题，每年 RTE 实时互联网大会都会有议题波及。之所以这么重要，其实是因为目前 RTE 行业中还没有一个很好的可用于评估实时互动场景的 QoE 评估办法。

声网基于在寰球大规模商用的主观实时数据和实际总结，正式推出自研的用于评估实时音频用户体验的无参考主观评估办法——声网 Agora 实时音频 MoS 办法。这套办法，已集成于声网 Agora 音频 / 视频 SDK 的 3.3.1 及更新的版本中，目前仅提供了上行（编解码 - 传输 - 播放）链路的分数，后续还会凋谢提供上行品质打分接口。开发者在调用该办法后，可实时地主观判断以后用户的音频互动体验，给本身业务、经营的优化提供重要的参考数据。点「浏览原文」搜寻“mosValue”，可浏览该办法的具体文档。

那么有人可能会问，MoS 分、QoE 是什么？声网的这套 MoS 办法原理是什么？相比已有的开源办法有什么不同？

从“喂喂喂”到 QoS、QoE

当语音通话呈现时，还没有 QoS（Quality of Service）。人们只能靠“喂喂喂”的个数来判断通话质量的好坏。

起初基于网络的语音互动面对着同样的问题。QoS 在这样的背景下诞生。其目标是针对各种业务的需要特色，提供端到端的服务质量保障。QoS 的机制次要是面向运营商、网络建设的，关注的是网络性能、流量的治理等，而不是终端用户体验。

人们逐步发现，以 QoS 为外围构建的传统评估体系，始终难以和用户的体验相匹配。于是，更加关注用户体验的 QoE（Quality of Experience）被提了进去。在尔后很长一段时间里，基于 QoE 的评估体系开始逐步倒退。在通信畛域，逐步呈现了若干种与 QoE 强相干的评估办法，这些评估办法能够分为主观评估办法、主观评估办法。这些办法都会通过 MoS 分来表白目前用户体验的高下的。

现有 QoE 办法的缺点

主观评估办法

主观评估办法，是将人的主观感触映射到品质评分，受限于听者的专业性与个体差异性。在业界，音频主观测试并没有能够对立遵循的规范。尽管 ITU 对音频主观测试有一些倡议和指引，然而每个测试都有本身的侧重点设计和执行也不尽相同。个别比拟罕用的做法是请足够多的人来采集有统计意义的样本，而后对测试人员做肯定的听音培训。最初依据信号失真度，背景侵入度，和总体品质等方面来对音频通话打分。

所以，想得到绝对精确的主观语音品质评分，往往须要大量的人力和工夫，所以业内个别很少应用主观测试对通信品质进行评估。

主观评估办法

主观评估办法分为有参考评估办法和无参考评估办法。

其中，有参考评估办法 可能在有参考信号（无损信号）的前提下，量化受损信号的伤害水平，并给出与主观语音品质评分靠近的主观语音品质评分。在 2001 年，P.862 规范（P.862 是 ITU 国际电信联盟规范）定义了有参考主观评估算法 PESQ，该算法次要用来评估窄带及宽带下的编解码伤害。该算法在过来的二十年中，被宽泛的利用于通信品质的评定。

随着技术的倒退，PESQ 的利用范畴变得越来越窄，于是在 2011 年，P.863 规范定义了一套更全面、更精确的有参考主观评估算法 POLQA。相比 PESQ，POLQA 可评估的带宽更广，对噪声信号和延时的鲁棒性更好，其语音品质评分也更靠近主观的评分。

无参考的主观评估办法 不须要参考信号，仅通过对输出信号自身或参数的剖析即可失去一个品质评分。比拟驰名的无参考主观评估办法有 P.563、ANIQUE+、E-model、P.1201 等。

其中，P.563 于 2004 年提出，次要面向窄带语音的品质评估；ANIQUE+ 于 2006 年提出，也是面向窄带语音，其评分准确度据作者称超过了有参考的评估办法 PESQ，不过 PESQ 的测量不能反馈网络的延时、丢包等，并不完满实用于现在基于互联网传输的实时互动场景；E-model 于 2003 年提出，不同于上述两种办法，这是一个基于 VoIP 链路参数的伤害定量规范，不会间接基于信号域进行剖析；P.1201 系列于 2012 年提出，对于音频局部，该规范也不对音频信号间接进行剖析，而是基于网络状态和信号状态对通信品质进行评分。

AI 算法改善无限 & 实时场景难落地

近些年，也有相干应用深度学习对语音信号进行评分的论文，其拟合的输入往往是待测语音对应 PESQ 或其余有参考主观评估办法的输入。但这种办法有两个显著的毛病：

• 一是其准确性依赖于模型算力，而在产品落地时，因为无奈间接改善用户体验，非品质改良的性能的复杂度和包体积要求往往是十分高的；
• 二是这种办法的鲁棒性在 RTE 的多场景个性下会受到严格的考验，比如说带有背景音乐或特效的语聊房场景，就会给这种基于深度学习的办法带来很大的挑战。

有参考主观评估办法因为须要无损的参考语料，更多的价值是在算法、App 或场景上线前对其做品质验证，如果你的 App 或场景曾经上线了，则无奈对其语音互动体验进行评估。而对于产品公布后的体验评估，业内则冀望无参考主观评估办法可能提供一些帮忙。然而很难遗憾，受限于场景的多样性或算法的复杂度，上述无参考主观评估办法难以全面利用到 RTE 畛域。

以无参考主观评估办法 P.563 为例，它能测评的无效频谱只有 4kHz，而且仅能测评语音信号，对不同语料的鲁棒性是十分差的：咱们晚期曾将 P.563 的外围算法实时化并移植到 SDK 中，但测试下来其对不同类型语料的评分误差的方差过大，最终没有产品化。而基于深度学习的办法，实践上能够训练出比 P.563 鲁棒性更好、误差更小的端到端评估算法，但它的算法复杂度，以及较低的投入回报率，仍是两块绊脚石。

面向实时音频互动场景的新 QoE 评估办法

综上剖析，如果咱们须要一个部署在端上实时反馈通话的品质的评估办法，上述任何一种办法都是不适合的。咱们须要另辟蹊径，设计一个新的评估零碎，这个零碎须要具备以下几个特点：

• 须要对多种实时互动场景下的语料（音乐 / 语音 / 混合）具备鲁棒性，不会呈现显著的评估误差。
• 须要具备多采样率（窄带 / 宽带 / 超宽带 / 全带）的评估能力。
• 复杂度要足够低，可能在任意设施上对多人通话中对每一路的语音品质进行评估，且不引入显著性能增长。
• 线上的品质评分可能和线下的测试后果对齐，即同一段通话，该评估办法对当火线上产生的通话的评分，与预先用有参评估办法剖析这段通话的得分，两者应该简直统一。

当这套 QoE 评估体系满足以上特点后，便等同于让你在产品上线后都能够进行以往所做的“上线前的品质评估”，你能够随时看到以后你的用户的通话体验评分。这不仅是评估体系能力的晋升，更能帮忙你对症下药地大幅晋升用户体验。

声网基于实时互动的个性，设计了一种基于隐状态的实时语音品质评估办法——声网 Agora 音频互动 MoS 办法。该办法联合了信号处理、心理学和深度学习，能在极低算法复杂度下，对通话的语音品质进行实时评分。

图：Agora 音频互动 MoS 办法与行业现有评估办法比照

该办法次要分为两局部：第一局部是在发送端做的上行品质评估，次要用来评估采集、信号处理的品质得分；第二局部是在接收端做的上行品质评估，次要用来评估通过编解码伤害和网络伤害后的得分。整体的架构图能够参考这张图：

这篇文章次要讲一下上行品质评估，也就是影响实时互动体验最重要的局部。这个局部咱们把在发送端的编码模块也思考了进来。因而，这部分就蕴含了编码 - 发送 - 传输 - 解码 - 后处理 - 播放这条链路。不同于以往的基于网络状态进行分数拟合的办法，咱们把重心放在了监测 SDK 中各模块的状态。这种设计的核心思想很简略，如果在齐全无损伤的网络中，这条上行链路在播放前仅蕴含编码伤害，各个弱网反抗算法模块也不会被触发。一旦网络呈现了稳定，各弱网反抗模块就会开始运作，其每次启动或多或少的都会对最终播放的音质产生影响。因而，构建一个上行链路的品质评估算法的外围就变成了失去 SDK 各模块和音质的映射关系。当然，理论上行品质评估算法设计中还有若干其余影响因子，比方编码器架构、编码不同语料的效率、无效码率、网络伤害模型等，这些都会显著的影响最终的听感和品质评分。一般来说，the state of art 的评估办法，在多弱网环境下的打分平均误差（RMSE）在 0.3 左右，咱们设计的评估办法在多弱网环境下能将平均误差管制在 0.2 以内。

基于这套上行品质评估算法，咱们构建了一个寰球音频网络品质地图，用户能够实时监控产生在世界各个角落的通话质量，下图是地图一角，该图中横轴、纵轴别离示意在不同地区的用户，表格中的 MoS 分则体现了他们以后通话的 QoE：

这套利用于寰球范畴的声网音频互动 MoS 办法曾经在 Agora 音频 / 视频 SDK 3.3.1 及更新的版本中对外开放接口，大家可通过 AgoraRtcRemoteAudioStats 中的 mosValue 实时获取每条通话的品质评分，目前仅提供了上行（编解码 - 传输 - 播放）链路的分数，后续会凋谢提供上行品质打分接口。具体的接口参数阐明，请点击「浏览原文」进入声网文档核心，搜寻“mosValue”参考具体文档。