4 月 20 日，声网 Agora 发表对实时独唱技术计划全面降级，帮忙国内出名迷你 KTV 品牌“咪哒”实现国内首个反对多终端、多人独唱、高音质的残缺实时独唱解决方案的落地，完结了国内 K 歌行业长期摸索“实时独唱”场景，却始终未能上线的现状。

在介绍声网残缺的实时独唱解决方案前，咱们先来回顾下目前在线 K 歌行业常见的两种在线独唱玩法，以及真正的“实时独唱”面临了哪些技术难点？

体验过在线 KTV 独唱玩法的用户都理解，目前简直所有的在线独唱都是通过录制独唱与单通独唱两种形式实现，以主唱 A、用户 B 为例：

录制独唱： 主唱 A 依据伴奏演唱——实现后点击上传——用户 B 抉择带有 A 歌声的伴奏再演唱——录制实现后间接实现独唱。

单通独唱： 主唱 A 发动独唱——伴奏发给主唱 A——主唱 A 的歌声 + 伴奏发给用户 B——用户 B 退出一起唱。

第二种计划，看似是实时的，其实从体验来讲并非是独唱，其起因在于：用户 B 与听众能够听到主唱 A 的歌声，而主唱 A 听不到 B 的歌声。此外，主唱 A 呈现问题，用户 B 就无奈持续，这种计划还不反对两人以上独唱。

而咱们想要的真正的“实时独唱”应该就像是将线下 K 歌房的独唱情景照搬到线上一样，单方同时听到伴奏后一起独唱，彼此都能实时听到对方的声音。

实时独唱面临独唱同步、高音质两大技术难点

早在 2018 年，声网就曾提出实时独唱的技术构想，但因为整体网络基础设施不够成熟等起因始终未能真正集成上线，尔后声网针对实时独唱场景进行了长期的技术打磨，并与“咪哒”以及国内多个在线 K 歌平台、智能电视厂商重复集成测试，最终推出了高成熟度、超低延时、可落地的、残缺的实时独唱解决方案。声网在与客户独特打磨的过程中总结了该场景的两个核心技术难点：

01 独唱同步

这里的同步指的是两个用户的歌声与伴奏三者之间的同步。咱们先假如唱歌的两位用户都是专业级的，踩不准节奏的问题齐全不存在。如上述场景形容，因为伴奏是同时发送给两个用户，那么要害就在于两者的歌声是否能同步。影响独唱同步的次要因素就是延时。

不思考伴奏的状况下，假如用户 A 和 B 之间的端到端延时为 100ms。从声音传输流程上来说，会呈现以下这种状况：

• A 先唱，B 听到 A 的歌声。此时产生 100ms 延时；
• B 在听到 A 的歌声后开始退出独唱，歌声传到 A 端。此时又产生 100ms 延时；那么 A 听到 B 的歌声永远延时 200ms；
• 假如在线 KTV 中 200-300ms 唱一个字，那么用户在听感上会至多慢半个字，会有错位感。

02 实时独唱的高音质

唱歌的人都有一个独特的心理需要，就是心愿他人夸本人唱得好听。音质在独唱场景下就显得尤为重要。而影响实时独唱音质的因素次要包含：音频采样率、码率、延时。

• 采样率：是每秒从间断信号中提取并组成离散信号的采样个数。采样率越高，音频听起来越靠近实在声音。
• 码率：它是指通过编码（压缩）后的音频数据每秒钟传输所示意的数据量（比特）。码率越高，意味着每个采样的信息量就越大，对这个采样的形容就越准确，音质越好。

假如网络状态稳固不变，那么采样率越高、码率越高，音质就越好，然而相应单个采样信息量就越大，传输工夫可能会绝对更长。也就是说，高音质也可能会影响延时。

此外，实时独唱还会面临音频传输过程中产生的延时、与手机端、电视端、KTV 端等一系列硬件设施的适配、兼容性的问题，多重技术难点让很多想推出实时独唱玩法的 K 歌平台、社交平台、电视厂商等很是“头疼”。

声网公布行业首个残缺的实时独唱解决方案

针对这些技术难点，声网推出了行业首个残缺的实时独唱解决方案，不仅无效解决独唱超低延时、伴奏同步对齐、独唱人数灵活性、高音质保障等一系列问题，声网还提供 50ms 超低延时耳返、歌词同步、歌唱美声、音浪频谱等一系列性能，造成了一套业内高残缺度的实时独唱解决方案。

声网实时独唱计划架构大抵如下：

• 主唱端与各个独唱端同时从本地获取 BGM，随着伴奏同时开启演唱；
• 通过 SD-RTN™传输和调度，主唱与独唱们能够实时听到其他人的歌声，达成独唱。同时观众能够享受到演唱者们“0 延时”的独唱成果。

图：声网实时独唱技术计划架构

在声网的实时独唱计划中，围绕超低延时解决、高音质体验、伴奏精准同步、独唱人数灵便等造成了六个维度的外围劣势。

实现端到端 64ms 超低延时

在声网实时独唱解决方案中，主唱和独唱端同时听到伴奏，同时演唱，各方能够实时听到其余演唱者的声音，打消了接唱前产生的延时。独唱延时要解决的问题就是升高各自歌声传输到对方的这段端到端延时了。

针对音频在传输过程中的延时问题，声网在技术打磨的过程中发现在实时独唱场景中延时并不是越低越好，一味的谋求更低的延时，可能会“就义”音质等其余环节的品质。通过咱们长期实践来看，实时独唱的延时达到 50ms 是完满值，但想要实现 50ms 须要攻克这几个技术难点：

01 音频在采集端、播放端的延时

设施端上的延时包含采集端的采集、前解决、编码，播放端的接管、解码、后处理过程产生的延时，以及两端在编码后和解码前产生端网络延时。

端上的延时次要与硬件性能、采纳的编解码算法、音视频数据量相干，设施端上的延时可达到 30~200ms，甚至更高。

02 网络传输的延时

在实时独唱的场景中，要解决网络不佳、网络抖动，须要在采集设施端、服务器、播放端增设缓冲策略。一旦触发缓冲策略就会产生延时。如果卡顿状况多，延时会缓缓积攒。要解决卡顿、积攒延时，就须要优化整个网络情况。

声网社交泛娱乐产品负责人王奇示意，“50ms 端到端延时是咱们始终在谋求的指标，而目前声网的实时独唱解决方案曾经能够实现 64ms 端到端延时，背地的外围是声网对音频在设施端的延时、弱网传输、音频引擎耗费的延时等一系列技术难点的优化，在实时独唱场景中，64ms 延时曾经有限靠近 50ms 的最佳现实状态，在这样的延时状况下，用户的实时独唱体验简直从线下‘无感知’的搬到线上，场景体验实现了高可用性，让用户真正能实现高稳定性、高音质、超低延时的实时独唱体验。”

高音质歌唱体验 + 实时美声

在实时独唱中，声网的解决方案还能提供高音质的歌唱体验。声网通过业内当先的语音引擎，实现从低比特率的窄带语音扩大到高质量的立体声音乐，并反对从 8kHz（窄带）到 48kHz（全频带）采样，声网还领有业界当先的 3A 算法，在不伤害音质的状况下无效打消各类噪声。

此外，声网 Agora 独创了实时美声性能。在原有低延时、高音质的根底上，针对歌唱场景采纳链路式多模组联结算法框架，对人声的音调、音色、韵律、节奏、空间、气氛甚至艺术类型等不同维度进行调整，使歌声更难听、更符合伴奏，同时又能保留歌手声音原有的特点。

反对多人实时独唱

在单通独唱的计划中只能反对两个人，而声网的实时独唱解决方案中每一个独唱端互相独立，互不影响，独唱人数可反对两人以上。同时若是在独唱过程中其中一个端呈现问题，也不会影响到其余独唱端和观众端的体验与成果。

伴奏精准同步

为了实现最好实时独唱的成果，让各端能够在各自 BGM 的伴奏下一起歌唱。咱们在主唱发动播放 BGM 申请后，会让主播端期待一个与独唱端之间的延时，以此实现各方伴奏的精准同步。

50ms 超低延时耳返优化

不论是直播唱歌还是在线 K 歌，低延时的耳返性能对于唱歌体验都有着很要害的作用，可帮忙用户通过耳机实时听到麦克风采集到的声音和播放的伴奏，来判断本人的声音是不是走音，这个对延时要求特地高。

对此，Agora SDK 提供对立接口的低延时 K 歌耳返性能，通过与手机厂商的深度技术单干，可为 K 歌、直播类 App 提供适配不同手机品牌、不同手机机型的耳返利用，咱们将传统耳返 100-300ms 的延时升高至 50ms 以内，联合实时独唱整体解决方案，实现超低延时、超低噪声、极致音效的耳返体验，全面晋升 K 歌的体验。

歌词同步 + 音浪频谱

歌词同步能够实现音频与歌词在播放端同步展现，并且音频与歌词逐字对齐，企业开发者无需在进行额定同步解决。而音浪频谱能够帮忙歌唱者及时调整本人的音调，零碎也能依据音浪频谱的完成度对歌唱者进行打分。业余的在线 K 歌利用本身曾经具备成熟的歌词同步、音浪频谱等性能，但对于想在已有利用中退出在线 KTV 性能的守业公司或者开发者而言，声网的实时独唱解决方案自带歌词同步、音浪频谱等性能，将帮忙开发者节俭开发成本、保障体验。

实时独唱笼罩线上线下 为企业带来多重价值

在线社交实时独唱， 用户、营收双增长：1、用户拉新、晋升活跃度与留存：实时独唱作为最新的在线 KTV 玩法，无疑能够作为产品新玩法卖点，带来更多想要体验的新用户。同时，实时独唱的翻新玩法解决了传统录制独唱、单通道独唱的痛点，也会激发很多喜爱独唱的老用户积极参与，晋升用户活跃度与留存率。2、带来更多营收空间：在线 K 歌与社交平台也能够基于实时独唱的性能，摸索出更多商业价值，晋升营收空间。

智能电视 K 歌独唱，娱乐互动降级： 通过与电视厂商的技术打磨，声网的实时独唱解决方案还反对电视端，用户可在家中通过智能电视大屏与好友进行线上的实时独唱。对于电视厂商而言，实时独唱的退出也让智能电视的娱乐互动玩法更丰盛。

线下 KTV 异地独唱，突破空间限度： 实时独唱还能够助力线下传统 KTV 或商场迷你 KTV 的互通联动，让多地的好友能够在线下不同地点一起 K 歌独唱，晋升消费者 K 歌娱乐体验，推动线下 KTV 娱乐翻新倒退。

“咪哒”技术负责人示意：可落地的实时独唱技术计划此前在行业始终处于空白，声网凭借深厚的技术底蕴以及对翻新场景的洞察力，与咪哒一起打磨出了行业首个残缺的实时独唱解决方案，低失真，超低延时的技术保障为用户带来最佳的实时音频体验，咪哒在全国线下的迷你 KTV 中行将率先上线实时独唱的新玩法，实时独唱将来将给线上、线下 K 歌行业带来新的生机。

Demo 开源

目前声网实时独唱 iOS 端 Demo 已率先上线，如果您想进一步体验声网实时独唱 Demo，点击「浏览原文」留下您的信息，咱们将提供实时独唱 Demo 的下载地址。

在本文中咱们剖析了实时独唱面临的技术难点，并介绍了声网实时独唱解决方案的架构以及核心技术劣势，如果您想进一步理解声网是如何优化音频传输过程中的延时、编解码、丢包、抖动等一系列技术难点，可点击下方的相干浏览，查阅咱们此前公布的音频技术系列文章。

相干浏览

详解低延时高音质：编解码篇

详解低延时高音质：回声打消与降噪篇

详解低延时高音质：丢包、抖动与 last mile 优化那些事儿

详解低延时高音质：声音的丑化与空间音效篇