在线 KTV 现状
近年来，唱鸭、鲸鸣、回森、小森唱等多款产品竞相呈现，激励金、高投入等景象也很常见，各平台都在抢占用户市场方面牟足了劲儿，一份份财报、数据图和全线飚红的 K 线，也给投资人们的投入带来了可观的回报。依据第三方数据钻研机构比达征询在 2021 年 4 月底公布的相干数据显示，3 月份全民 K 歌的沉闷用户数在行业中大幅当先，月活用户数达到 13543.8 万人，唱吧位列第二，月活达到 3037.3 万人，此外，酷我 K 歌、天籁 K 歌和唱鸭分列第 3-5 位，月活用户均超 300 万人。
在线 K 歌的玩法层出不穷，然而在线独唱这一场景却鲜有平台去尝试。这次要是因为目前各厂商的技术能力在独唱这一场景下，还很难给用户带来极致的体验。
声临其境的难点和独唱困局
为了摸索在线独唱这一场景，咱们用最简略的 RTC 服务，搭建了一套未定制化的独唱 Demo 来测试成果。这套零碎的简略阐明如下图。
演唱者 A 自主播放伴奏，RTC 引擎把干声和伴奏混合后发到演唱者 B 和观众。此时演唱者 B 听到 A 的歌声和伴奏后，合着节奏一起唱。但这个流程有几个显著的问题亟待解决：
- 演唱者之间的通信提早过大，A 听到 B 的声音比本人的音乐要慢很多
- 观众听到 A 的声音在伴奏节奏上，但 B 的声音却比伴奏慢
- 歌词无奈同步传递
- 演唱者和非演唱者都没有置身 KTV 包厢的沉迷感
- 参加独唱的用户的声音会被相互打断
抽丝剥茧的找对策
为了欠缺这个场景，咱们对下面测试中遇到的问题一一进行剖析，并在咱们的实时独唱计划中予以解决，具体内容见下表：
网易云信的实时独唱计划
整体构造
升高提早到极限
- 云信的 WE-CAN 传输网络优化了传输提早。
对于间隔较近的用户，We-Can 的 2.0 调度零碎可能进行智能调度，保障用户能达到同一个机器、机房或尽量近的机房，这样流就齐全不必走公网，在机房内齐全解决，达到极致的低提早成果。
对于不同的运营商，通过智能路由的抉择，可能保障网络稳定性达到 99.99%，提早 <75ms。
- 在端上对音频的整个 pipeline 做了大量的优化，使均匀的采集播放、信号处理提早升高至 52ms。
- 在特定网络下，这些工作能够保障在以后网络条件下失去最低的通信提早，而因为通信提早的客观存在。咱们须要用其余的计划来缩小提早对于独唱体验的影响。
通过准确同步伴奏来缩小提早对于体验的影响
为了解决演唱者单方听到的声音提早过大的问题，咱们实现了基于服务器精准同步的 NTP 修改值，给整个业务体系提供一个精准的工夫戳。当独唱发动时，参加独唱的两端精准开始播放伴奏（同步精度达 10ms 级），单方各自跟着伴奏唱歌，不再须要等对方的伴奏，使整体独唱提早对于用户体验的影响升高。
无弱网时多台伴奏同步性测试后果：
退出弱网时：
与传统的独唱计划不同的是，云信提出独唱计划须要以伴奏为基准。因为传输提早的客观存在，这是不可避免的。但通过准确的伴奏起始同步，来尽量升高提早，这对于演唱单方的体验降级是切实可行的。为此咱们基于现有的计划（音频全链路端到端提早在失常网络约 100ms）做了主观测试：
在存在大量弱网的条件下，用户体验仍然可能失去保障。
观众端的同步模块
因为参加独唱的多位用户的网络状况各不相同，其音频数据达到不同观众的提早也各不相同，云信翻新的使用了绝对工夫戳，使多位独唱者的干声被动对齐。这能让频道中的观众和非参加独唱的上麦者听到的声音和几位主唱保持一致，残缺地复现 KTV 包厢场景。
独唱端将本人的干声标记伴奏的绝对工夫戳，随音流包一起发送，观众端通过定制的 buffer 算法、被动对齐策略使演唱者的声音和伴奏严格对齐。该计划能够在主唱和观众之间存在各种简单的网络状况时，保障观众端仍然能够还原主唱的歌声和节奏。而通过批改快慢放策略，放慢了多个音频流的对齐工夫，缩小了收敛工夫，确保在伴奏的前奏局部即可实现伴奏 / 干声对齐收敛。同时，这个机制还能够撑持视频性能，能够保障 KTV 视频和主唱演唱的对齐，完满出现 KTV 包厢体验。
缩小网络累赘的伴奏辅流计划
KTV App 在实应用中，尤其是用户选曲的时候，通常须要同时下载伴奏和歌词信息，而观众也须要下载对应的伴奏文件，这对于两头退出频道的观众体验很不敌对。为了使独唱的观众计划体验更佳，咱们设计了伴奏辅流计划。即伴奏通过音频辅流发送并带有非凡的绝对工夫戳，当接收端（观众或非独唱主播）收到数据后，联合干声的工夫戳进入同步模块，做精准同步。
播放偏移预计
在独唱的和声局部，对方的干声有时候会影响本人的节奏，可能会产生“跑偏”或者唱错节奏的状况，为此咱们优化了独唱两端的音量，实现刚好能够听清又不影响歌唱的成果。
在 KTV 场景中，用户始终是听到伴奏后才开始唱歌的，这样会引入一个在合成歌唱成果时的提早，不同设施有不同的播放提早。云信通过翻新的信号回环算法和硬件 buffer 计算相结合的形式，相互验证，并保障提早计算的准确性。同时咱们还进行了大量的机型适配。
将来瞻望
通过文中介绍的工作，咱们基本上解决了独唱中的各种体验问题。将来，网易云信也将继续深耕技术，继续关注行业动态，提供欠缺的解决方案和最佳范例，以技术创新助力客户增质提效。