共计 1592 个字符,预计需要花费 4 分钟才能阅读完成。
前言
过来的一年曾经表明,在线交换对咱们的生存至关重要。无论你身在何处、可用的网络条件如何,分明地理解彼此之间的分割变得前所未有地重要。因而,咱们在 2 月推出了 Lyra:一种革命性的新型音频编解码器,它应用机器学习的劣势来产生高质量的语音呼叫。
为了使通用的最佳编解码器广泛可用,咱们凋谢了 Lyra 的源代码,使其余开发人员能够为其通信应用程序提供反对,并朝着弱小的新方向倒退 Lyra。此版本提供了开发人员应用 Lyra 进行音频编码和解码所需的工具,Lyra 已针对 64 位 ARM 安卓平台进行了优化。咱们心愿与社区一起扩大此代码库并开发对其余平台的改良和反对。
01 Lyra 的体系结构
Lyra 的体系结构分为编码器和解码器两局部。当有人在电话里讲话时,编码器会从他们的语音中捕捉独特的属性。这些语音属性(也称为特色)以 40ms 的块提取,而后压缩并通过网络发送。解码器的工作是将性能转换回能够在听众的电话扬声器上播放的音频波形,通过生成模型将特色解码回波形。生成模型是一种非凡类型的机器学习模型,非常适合从无限的性能中从新创立残缺的音频波形。Lyra 架构与传统的音频编解码器十分类似,传统的音频编解码器曾经成为互联网通信的骨干力量,已有数十年的历史了。这些传统的编解码器基于数字信号处理(DSP)技术,而 Lyra 的次要劣势来自生成模型重建高质量语音信号的能力。
02 Lyra 对将来音频的影响
在过来十年中,只管挪动网络继续稳步发展,但挪动设施运算能力的爆炸性增长仍然超过了牢靠的高速无线基础架构的解决能力。对于存在这种反差的地区,尤其是发展中国家,下一个十亿互联网用户将上网,这种技术将使人们之间的分割更加严密的心愿依然渺茫。即便在连贯高度牢靠的区域,异地工作和近程办公的呈现也进一步限度了挪动数据的限度。尽管 Lyra 能够将原始音频压缩到 3kbps 的品质,从而与其余编解码器(例如 Opus)相比品质不错,但它的指标不是成为一个残缺的代替计划,而是能够在这种状况下节俭有意义的带宽。
这些趋势为 Lyra 提供了能源,也是咱们的凋谢源代码库专一于其实时语音通信后劲的起因。咱们认为还有其余利用,Lyra 可能特地适宜,例如,存档大量语音,通过利用计算便宜的 Lyra 编码器节俭电池,缓解紧急情况下,许多人同时打电话的网络拥塞。咱们很快乐看到开源社区以 Lyra 闻名于世,以提出更独特,更具影响力的应用程序。
03 Lyra 的开源版本
Lyra 代码应用 C ++ 编写,以实现速度,效率和互操作性,并应用带有 Abseil 的 Bazel 构建框架和用于全面单元测试的 GoogleTest 框架。外围 API 提供了用于在文件和数据包级别进行编码和解码的接口。还提供了残缺的信号处理工具链,其中包含各种滤波器和变换。咱们的示例应用程序与 Android NDK 集成在一起,以展现如何将本机 Lyra 代码集成到基于 Java 的 android 应用程序中。咱们还提供了运行 Lyra 所需的权重和矢量量化器。
咱们明天将 Lyra 作为 Beta 版本公布是因为咱们心愿使开发人员可能取得尽快的反馈。因而,随着开发的深刻,API 和比特流很有可能会发生变化。除数学内核外,所有运行 Lyra 的代码均依据 Apache 许可凋谢源代码,为此提供了共享库,直到咱们能够在更多平台上实现齐全凋谢的解决方案为止。既然 Lyra 是开源的,咱们期待看到人们对 Lyra 的解决。在 GitHub 上查看代码和演示,让咱们晓得您的想法以及打算如何应用它!
拍乐云始终关注 RTC 前沿技术的最新动向,致力于摸索行业用户在实时互动场景中的痛点解决方案,为用户提供强互动、沉迷式的音视频体验。也欢送更多对音视频技术感兴趣的敌人能与咱们交换,独特敲开将来 RTC 之门。
文 / Andrew Storus & Michael Chinen – Chrome
原文链接 / https://opensource.googleblog…
译者 / 拍小编