2021 年 5 月 15 日,融云 X-Meetup 技术沙龙第三站续航上海。本场沙龙聚焦“音视频技术新方向”,由融云音视频研发高级工程师姜春雨、时光机器人创始人兼 CEO 徐晶、融云 IM 研发核心高级工程师刘佳、学而思网校架构师李亚龙,和资深音视频技术专家栗伟,五位技术大咖出任演讲嘉宾,他们以时下热门利用场景为视角,从技术实际登程,与开发者们交换分享了对于音视频技术的新察看。
iOS 上的音频开发
往年,因为 Clubhouse 和 Tiya 的示范效应,语聊房产品大火,音频的开发技术备受开发者的关注。来自融云的音视频研发高级工程师姜春雨,多年专一于挪动端和音视频畛域的技术研发,他分享了《iOS 音频设备开发 – Core Audio》的主题内容。
融云音视频研发高级工程师姜春雨发表演讲
姜春雨认为:挪动端音频解决的难点在于声音丑化、变声、实时高音质和场景玩法多样化。单从 iOS 设施来说,要冲破这些难点,离不开 iOS 所提供的 Audio Unit,它是一项弱小灵便的音频解决技术,反对混合、平衡、格局转换和实时输出 / 输入,用于录制、播放、离线渲染和实时对话。
融云 SDK 以 Audio Unit 为根底,构建了长音效、短音效等多个功能模块,最终在音频设备上实现混音输入。在场景化实际中,姜春雨以音乐语聊房和百人超大会议室两个典型场景为例,分享了融云 SDK 的技术开发优化计划。比方,音乐语聊房重视高音质、美声变声,以舒服乐音为好,开发者要依据这些需要进行算法调优;而超大会议室的优化则要求做到服务端智能发流、多人声音同时呈现能够智能抉择会议发言人的声音。
姜春雨总结道:Audio Unit 是一个弱小的音频解决框架,音频解决要基于 Audio Unit 框架构建内容,并且要在音频解决内容上一直打磨优化。将来,融云音视频 SDK 还将一直基于不同场景须要开发新的性能,继续优化音频产品,为开发者提供更好的解决方案。
构建低提早高牢靠的信令零碎
融云作为互联网通信云赛道的当先厂商,2020 年在业界率先提出“IM+RTC+PUSH”的整体通信解决方案。融云 RTC 唤起用户的通道就是依赖于 IM 的 SDK 信令,因而,本次融云的 IM 研发核心高级工程师刘佳,分享了《构建低提早高牢靠信令零碎的摸索与实际》,帮忙开发者更好地理解融云 IM 如何协同 RTC,提供高牢靠的通信能力。
融云 IM 研发核心高级工程师刘佳
刘佳介绍,高牢靠音视频信令零碎的构建在 IM 信令零碎设计时,首先要进行服务分层,包含接入层、外部服务和数据存储的分层。而拆分准则要依据业务差别和服务对象的不同,拆分为 API 和 CMP,整体做到可监控、可保护。其次,是要搭建残缺的监控体系,通过可视化的图表,监看网络的性能状况,及时处理零碎瓶颈。
对于低提早信令零碎的实现,刘佳分享道,融云不仅利用寰球减速网络,升高网络提早,还基于融云自有通信协定升高数据传输量,利用缓存机制,进步了服务的业务处理速度。并且,刘佳以缓存设计为例,阐明通过一致性 hash 进步缓存命中率、高效利用 CPU 的解决能力、施行异步存储等,也都是实现低提早零碎设计的要旨。
基于这些设计要点,刘佳展现了海量并发用户场景下的语聊房零碎架构,为开发者提供了干货解决方案。同时,他还总结出融云现有的音视频整体服务架构的三大劣势:第一,信令服务与媒体服务解藕,两个服务之间也不须要状态同步;第二,媒体服务专一通信,信令服务专一能力;第三,部署简略,不便进行寰球部署媒体服务。
直播零碎架构设计 满足用户对实时性的需要
本场沙龙中,音视频直播场景也是一个重点话题。深耕互联网音视频 12 年,在直播畛域积攒了丰盛实战经验的拾光机器人公司创始人兼 CEO 徐晶,通过他的《互联网直播疾速实战》,分享了基于直播答题场景的架构设计,尤其是几个关键技术点和应答策略,以及如何保障直播中的视频和音频品质,都做出了具体的解说。
沙龙中,专一于在线教育的学而思网校架构师李亚龙,还针对教育低延时大班的直播场景,为开发者带来了对于《在线教育直播零碎架构降级》的分享。他着重从网校视频技术的倒退、网校大班直播零碎、网校公益直播课、低提早直播摸索这四个方面的设计要点,进行了剖析解说。对于专一在线教育的开发者而言,具备广泛的示范意义。
此外,资深音视频技术专家的栗伟,发表了《应用 WebRTC 构建实时在线课堂》的演讲。栗伟曾任职于中科院计算所、CC 视频,任职期间利用 WebRTC 技术开发了直播、在线课堂、视频会议等商业产品,并发用户数达到 500 万。他还曾主笔撰写了《WebRTC 技术详解:从 0 到 1 构建多人视频会议零碎》,在该畛域有多年实践经验,对 WebRTC 有十分深刻的钻研,他的实际分享也让开发者们获益匪浅。
结语
在本次沙龙中,五位讲师的分享,其共性特点在于:他们都基于当下所关注热门场景开展话题。由此可见,利用场景才是“探讨音视频技术新方向”的根底,而越热门的场景往往越是代表着这个畛域的发展潜力更大,因而也就越须要通过新技术、新产品加以承载。
随着 5G 的进一步落地,网络带宽、网络品质的一直优化,音视频通信无论在应用量级上,还是应用场景上,都会呈现更多可能。对于开发者而言,只有及早储备,尽可能多地把握新技术,关注新方向,能力赢在当下,赢在将来。