乐趣区

关于音视频:拍乐云受邀QCon大会-详解音视频技术架构实践首发美术教学音视频方案

5 月 29 日上午,在「QCon 北京寰球软件开发者大会」上,拍乐云 Pano 创始人赵加雨受邀作为「音视频服务解决方案专场」的首位技术专家,为大家带来实时音视频技术架构的深入分析,并解说拍乐云在视频通话、互动白板和弱网反抗技术中的最佳实际,同时,正式公布业内首个「美术教学实时音视频计划」,引发泛滥关注和好评。

QCon 是由极客邦科技旗下 InfoQ 主办的综合性技术盛会,面向 5 年以上工作教训的技术负责人、架构师、工程总监、开发人员分享技术创新和最佳实际。除了北京,每年还会在伦敦、东京、纽约、圣保罗、上海、旧金山等地召开。

实时音视频产品在线上化、数字化的趋势下,已成为各行各业的刚需。拍乐云 Pano 团队作为新一代实时音视频云服务领军者,在 RTC 技术方面有近 20 年的深厚积攒,并重视摸索这些翻新技术在业务场景中的价值与落地,以下为演讲实录。

1

实时音视频的“两高一低”

实时音视频十分强调“两高一低”,即高质量、高晦涩和低时延。

高质量是指音频高保真,无回声噪声,音量适中,视频清晰;

高晦涩是指音视频晦涩无卡顿;

低时延在实时音视频产品里是十分重要的指标。ITU- T 倡议规范里提到,如果端到端时延低于 200 毫秒,用户体验会十分好,时延在 200~400 毫秒时用户体验降落但能够承受,时延超过 400 毫秒的话少数用户都会不称心。

为了实现实时音视频的两高一低,须要在零碎架构、音视频编解码、寰球组网、服务端散发、弱网反抗等各个环节做到最优。一般而言咱们应该尽量兼顾“两高一低”这三个指标,然而在理论场景中往往无奈做到兼顾,那么咱们就会在“两高一低”里有所取舍。在视频会议场景下个别是保障高晦涩低时延,可能会适当就义高质量;而在美女直播、电商直播等场景下,高质量低时延可能更重要一点,会适当就义视频流畅性,少数场景下低时延都是要尽量保障的。

2

音视频技术总体架构

拍乐云的技术架构来源于视频会议架构,并在此基础上做了演进迭代。

一个典型的视频会议架构个别是多 DC、分布式的,客户端就近接入,媒体服务器可能会进行同 DC 和跨 DC 级联。视频会议架构非常复杂,外面波及的技术点有很多,包含:客户端如何实现就近接入、如何进行寰球组网和智能路由、音视频编解码怎么抉择和优化、服务端应用 SFU 还是 MCU、端到端的 QoS 怎么实现、与 PSTN 网络和传统的 SIP 终端如何实现互联互通、级联怎么做等等。

从另一个维度讲,拍乐云技术架构也是十分典型的微服务架构,有配置核心、服务注册与发现、全局调度、认证受权等服务治理模块,也无限流熔断、弹性伸缩容、监控报警、大数据平台、Pano Backbone 等保障服务高可用的组件,提供的外围性能有音视频通话、互动白板、互动直播等。

3

互动白板技术实际

互动白板是在线教育、企业培训等场景下的刚需性能,一个好的互动白板产品须要解决这几个问题:

性能,时延是不是足够低?频繁互动时笔迹同步是否实时?在弱网时是否会同步不及时或者呈现白屏?咱们采纳了公有数据格式并做了极致压缩,确保数据量尽量小,在白板绘制和渲染时采纳原生技术,确保内存占用更低、CPU 耗费更小,在网络传输上利用咱们的寰球减速网络 Pano Backbone 确保了跨国、跨运营商的实时传输。

动效课件反对得如何?课件里的音频和视频播放是否反对?咱们自研了转码引擎和白板引擎,能够做到动静课件的超高保真,也能够反对各种动效和音视频文件播放。

和音视频的同步推流和同步录制怎么实现?咱们同时提供音视频和白板性能,因而只须要一次 API 调用就能够实现音视频和白板的同步录制和推流,用户应用起来会十分不便。

4

弱网反抗技术实际

互联网有几个特点,首先互联网实质上是尽力交付,而不是牢靠交付。当呈现拥塞和弱网时,可能就会有丢包等。其次互联网比拟强调公平性,一者互联网对于所有数据包是同等对待的,当呈现拥塞时可能会无差别的丢包,二者咱们在做弱网反抗时也须要思考公平性,不要把拥塞控制算法设计的特地激进,最初,互联网有各种跨国、跨洲、跨运营商的问题。常见的网络问题有:带宽受限、抖动、时延、丢包、乱序等。

抵制弱网须要软硬两手抓,硬件次要是指基建和调度算法,软件是指各种 QoS 算法。

在网络基建层拍乐云构建了寰球实时传输减速网络 Pano Backbone,能够实现寰球减速、智能路由和用户就近接入。

在软件层,咱们的 QoS 算法包含几局部,首先是带宽评估和拥塞判断,个别是基于丢包、时延、RTT 等指标来判断拥塞。在感知到拥塞又能够做各种抗丢包的策略,包含 FEC、ARQ、RED 等,这些策略算法各有优缺点。最初网络 QoS 并不仅仅是抗丢包,还包含平滑发送、慢启动、关键帧申请等各种拥塞管制伎俩。

咱们做任何的弱网反抗都不要遗记“两高一低”,每一种 QoS 算法都有实用的场景,如果用错了场景,可能会带来比较严重的副作用,譬如 ARQ 算法,当呈现 70% 丢包时,如果咱们心愿实现 99.9% 的包达到率,那么就须要重传 20 次,即便 RTT 只有 100 毫秒,最终传输数据包也须要 2 秒,这个时延在实时零碎里是无奈承受的。再比方 FEC,当呈现 70% 丢包时,为了达到 99.9% 的包复原率,以 5 个原始包为例,也会导致 790% 的冗余率,这个对于带宽耗费是十分高的。咱们须要在呈现弱网时,依据不同场景抉择不同的抗弱网算法,最终依然要保障高质量、高晦涩和低时延。

5

独创美术教学音视频计划

在线教育是实时音视频很重要的一个利用场景,联合咱们的技术积攒和客户的须要,咱们推出了美术教学音视频解决方案,帮忙客户构建一个强互动、沉迷式的美术教学线上课堂。通过多摄像头能力能够实现老师、学生双向同时看到对方的视频和画板;通过角度改正能够将画板调整为正对拍摄的成果;通过视频标注能力能够随时指出绘画时的重点和要点;通过动效课件能够十分不便地进行绘画教学;通过云端录制不便地进行课后回放和温习;通过 Pano Backbone 实现寰球用户的就近接入。


对于拍乐云 拍乐云成立于 2019 年,由红杉中国种子基金领投,是国内惟一一家视频会议背景的实时互动通信云服务商。公司汇聚了一大批专一于音频、视频、白板、网络、AI 等畛域的资深技术专家。通过集成 Pano SDK,企业开发者即可在寰球范畴内疾速实现互动小班、超级小班、双师大班、语音聊天室、视频社交、直播连麦、游戏语音、视频客服、近程医疗、办公合作等场景。

退出移动版