前言：实时音视频 RTC（Real-Time Communication），是新冠疫情黑天鹅事件中疾速遍及并崛起的技术与行业。资本加码，爆款利用，让实时音视频的设想空间被放大。安全可靠的寰球互联网通信云厂商融云 CTO 任杰近期承受了媒体采访，对于 RTC 技术关键点、翻新的应用场景有哪些，将来 RTC 将引爆什么行业，开发者的机会又在哪里，论述了本人的认识。
融云 CTO 任杰
RTC 的新挑战
在 RTC 遍及之前，高大上的视频会议和电视电话会议，须要用到专网和专有硬件。大略在 2012 年前后，随着 3G、4G 网络的建设和 WiFi 遍及，RTC 技术开始进入互联网。不过，任杰提到，各种手机、PC 等设施都开始进入了互联网的视频通信畛域，设施变得不可控。另外，从专有网络变成了广域网和互联网以及无线网络、4G 网络，网络也变得不可控。
“PC 不是为了通信这个场景进行的设计，所以在回声打消、降噪、视频采集编码层面都有不同的解决，有很多设施适配、算法的从新适配，大量细碎的性能要去做；手机在无线网络下，丢包和带宽会有刹时变动，这些是新场景下面临的新问题，咱们要从新去解决它，用新算法、新模式去解决它。”任杰说。
2021 年初，W3C（万维网联盟）和 IETF（互联网工程工作组）发表 WebRTC 成为官网规范，任杰认为 WebRTC 被标准化组织接收认可，但并不代表着 RTC 的技术曾经成熟。“一个行业如果在继续暴发和继续高倒退阶段，咱们很难说它的技术是成熟的，因为场景越来越多，使用的设施技术也越来越多。音视频编码在一直变动，新场景下的网络反抗、机器学习、降噪技术，都在继续井喷的倒退过程中。”任杰如是说。
新的技术、场景，也带来了新的挑战。任杰总结了四个融云在现阶段面临的 RTC 挑战：
1、高清视频：随着 WiFi 和 5G 等基础设施的降级，用户对音视频品质要求更高，融云会追随新的编码标准去提供高质量、高码率、高帧率的视频体验。
2、语音还原度：传统算法曾经不能满足现有高质量、高还原度的应用体验与要求，RTC 将与 AI 联合，研发降噪、晋升智能分辨率、进步整体视觉清晰度的技术，这是融云 RTC 技术研发的一大方向。
3、大量智能设施适配：除了安卓，将有大量实时操作系统 RTOS 设施进入 RTC 畛域，而这些设施有些配置较低，规范参差不齐，都须要 RTC 厂商做好适配，保障交互体验。
4、寰球节点部署，服务出海开发者：互联网市场的人口红利在逐步隐没，出海开发者的音视频业务需求量很大，融云在做寰球节点的部署，以及更好的调度算法，确保寰球任何一个中央、任何一种形式接入，都有优越的音视频体验。
RTC 的三大翻新场景
尽管疫情让 RTC 极大遍及，然而任杰认为，疫情自身并未发明新的 RTC 场景，而是推动了音视频在各类场景和行业落地，减速了 RTC 倒退过程。
他举例说明，在线教育毫无疑问是疫情中被推动与宽泛落地的 RTC 场景。除了 k12（kindergarten through twelfth grade，学前教育至高中教育的缩写，代指基础教育）的在线课程外，当初素质教育也在向线上迁徙。不过与基础教育不同的是，素质教育波及教训的传递和领导，是更加个人化的过程，例如音乐、绘画，过程要求比拟高。RTC 技术与应用体验感的晋升，将有助于素质教育的在线化过程。
教育的另一个翻新场景是在线考试，考试始终是庄重的事，过程管制更加严格。而因为疫情影响，考试也开始线上化，例如考场设前置摄像头、后置摄像头，并全程录像，不便监督和考试后抽查。
除了教育，任杰提到第二个 RTC 翻新场景将是强互动型与娱乐利用。电商直播、共享电影、线上拍卖、3D 虚构形象的语音社交、在线独唱等等，这些强互动型利用将会越来越多，值得开发者从产品层面施展想象力。
第三个翻新场景在行业利用中，疫情之后须要“无接触服务”各个行业，包含政府办事、金融、保险、交通、海关等等畛域，都在将办事、审批服务过程转向线上，这些也是 RTC 十分重要的新场景。
当 AI 遇见 RTC
对于 RTC 和 AI、5G 等新技术的交融趋势，任杰别离介绍了 AI 技术对音视频畛域四类问题的解决办法。
AI 智能降噪。比方在线教育场景下，（老师 / 学生）敲击键盘、倒水、咳嗽的声音，过来的算法对这些非稳态乐音无能为力，而 AI 技术能够分辨的场景和分辨的噪声更多，将帮忙 RTC 在降噪方面有较大晋升；
AI 超分解决。在雷同带宽下传输的视频图像，利用 AI 技术能够使其在解码还原后较之前更加清晰；
利用 AI 技术把不同的视频场景或者音频场景分辨与离开。对于动态场景编码、清晰度和帧率的管制，对于动静场景下编码和帧率的管制，用 AI 技术都能够将其辨别开，做不同的解决；以及用 AI 技术重构带宽预计的算法。
对于更远的将来，在全真互联网时代，任杰示意，音视频从采集到编码、传输、解码、渲染、互动的整个过程，将是全真互联网必须具备的一大块能力，而 RTC 无望成为全真互联网的基础设施。