简介：在 2021 云栖大会《产业视频化翻新与最佳实际》视频云主题论坛中，阿里云智能高级技术专家在《AliRTC 开启视频互动 “ 零解决 ” 时代》的主题演讲中，公布了阿里云视频云下一代实时交互解决方案 —RTC“零解决”，同时分享了阿里云视频云在 RTC 产品的摸索和实际，以下为演讲内容整顿。
一、交互演进与挑战
在过来几年，视频交互产品产生了什么变动？
咱们认为 RTC 产品对行业产生了两次十分重要的改革。
第一次改革是 2014 年开始的交互从图文到音视频的降级。
2014 年，互联网创业者与 RTC 产品供应商一起摸索视频互动的商业化，教育、娱乐成为次要的冲破方向，基于寰球范畴内的互动授课、秀场视频连麦、多人交友互动，也大多在这工夫点实现了商业与技术的胜利联合。
2017 年是一个标志性的工夫点，RTC 产品曾经帮忙头部互联网客户实现了颠覆性倒退，标记着互动视频技术与在线互动商业模式的成熟。
接下来几年更多的是不同体量、不同场景的规模复制，所以咱们能看到，在 2018 年以及后续的几年，市场上并没有新场景、新互动的翻新，而是基于不同内容、不同客群的业务复制，视频互动从头部走向更多的细分市场。
第二个重要改革产生在 2020 年，受疫情影响，让云视频会议全面浸透，让这个工夫提前了至多 5 年。
这次市场的变动，咱们不能称之为一次技术反动，实际上对 RTC 产品并没有新的诉求，也没有产生新的互动场景和技术，但这次大规模的浸透，从新定义了供应商的市场格局，第一次让云厂商成为了市场极其重要的一部分，让市场从繁多的会议厂商，决裂为云平台 + 会议终端供应商，让咱们的客户有了更多的抉择。
从 2018 年到当初咱们没有场景上的基本冲破，是不是因为咱们的技术上遇到了瓶颈？
带着这样的问题，阿里云对 RTC 场景技术进行了深刻的技术评测，咱们试图发现整个行业大家的技术水位是什么样的，不同于单项的视频技术，RTC 的评测要更为简单。
例如，对视频编码，咱们能够通过 PSNR，SSIM，VMAF 等来剖析，对于视频分类等视觉算法，咱们能够通过 ROC 曲线来剖析，但对视频 RTC 来说，波及的主观感触十分多，是一件比较复杂的事件，目前业界也没有对立的评测规范。
咱们从这些影响用户感触的指标外面抽出六个维度表征 RTC 的体现品质。
对评测感兴趣的话能够关注咱们的「视频云技术」公众号，外面具体介绍了咱们怎么进行自动化评测的，评测过程中咱们会发明不同的网络环境，检测 RTC 在各方面的体现。
咱们对行业里的 RTC 做了一些评测，发现有两个特点。
第一，RTC 有显著的技术门槛，比如说绿色的框代表一类典型的 RTC 能力，由规模较小的团队自研，投入较小，会有显著的差距。
第二个是几个比拟大的供应商，包含在阿里云在内，里面这一圈，红色的线、蓝色的线，以及黄色的线，他们都处于绝对比拟统一的程度，然而没有一家有特地优良的中央，所以技术同质化特地重大，大家基本上处于同样的程度。
咱们以后视频的实时互动次要集中在线上线下场景，将来可能会有更广大的利用场景，比如说一些交互场景，VR 操控类、虚拟现实类。
这时候咱们会思考一个问题，咱们的技术是不是曾经倒退到了瓶颈期，咱们无奈满足将来更宽泛的需要，这前面的起因是什么？会不会是咱们的技术倒退到某个瓶颈了？因为技术通常是阶跃式的倒退，不能冲破就会陷入在一个档次上。
二、“零解决”减速交互降级
咱们心愿剖析一下，当初用户的体验到底怎么样？咱们当初的技术存在什么问题？
通过比拟各家 RTC 供应商，咱们发现一个比拟有意思的点，就是大家有千分之二的卡顿率是难以打消的。50%、60% 的丢包都能够做的很好，然而如果网络带宽受限，千分之二的卡顿就难以打消了。
咱们有一些伎俩能够解决相似的问题，比方利用窄带高清技术，咱们能够通过简单计算解决这些问题，也能够通过非标屏幕编码类技术解决，然而实际上咱们很难把这些技术进行十分宽泛的利用。
最基本的起因是咱们会发现端侧能力是有限度的，大家的手机各不相同，有可能有些人的手机特地好，能够做简单算法，有些人手机差，无奈进行简单算法，同时，端的碎片化比较严重，要对所有端适配是比拟艰难的。
在利用上咱们心愿可能提供更乏味的交互，比如说实时生成卡通人物形象，这在端上能够运行，然而只有多数十分弱小的设施能力运行。
一个天然的想法是，咱们是不是能冲破以后的利用架构？
咱们把一个齐全依赖端能力的架构，逐渐转变成依附云和端一起配合进行视频传输解决的架构，基于这个想法咱们提出了云解决 + 端渲染技术，目标是心愿从云上提供弱小的解决能力，端上负责渲染，只须要提供很少的解决能力就能实现比拟好的解决成果，使大家在不同的手机上都能失去一样的体验。
这就是视频云“零解决”解决方案的根本架构图，在端上只须要进行比较简单的视频采集以及视频传输，而后通过咱们构建的笼罩寰球的 GRTN 网络达到云端，云端应用 GRTP 的云端实时处理引擎对视频进行解决，再把解决好的视频传到端上，端上只须要做简略的出现。这样能够很好的解决方才提到端计算能力不够和碎片化的问题。
然而天下没有收费的午餐，采纳下面的架构，很容易发现几个问题。
第一，咱们的云上是不是能接受这么大规模的解决。
第二，云上能不能承当这么大规模的老本。
第三，云上能不能继续提供这么多类型的解决服务。
咱们本人的信念来自于几个方面。
第一，通过阿里多年的积攒，咱们积攒了业界最大规模的云上视频解决集群，所以咱们在技术上曾经具备承当超大规模解决的能力。
第二，对于老本。
下图是咱们解决的一张业务图的示例图，横坐标是工夫，纵坐标是资源使用量，彩色的线一种业务，红色线是另一种业务，能够看到，每种业务都存在大量的业务闲暇期，业务闲暇期能够让咱们有大量资源供咱们复用，当咱们把多种业务混跑时，就能把资源利用起来，大幅度降低老本。
除了在工夫上的混跑，咱们也能够通过空间上的混跑和异构的混跑，将整体的老本降下来。
第三，因为咱们背靠阿里团体，包含咱们本人也有很多视频算法解决积攒，所以咱们有机会继续一直的提供丰盛的算法和解决能力。
三、“零解决”实际分享
接下来是阿里云视频云在零解决的实际。
第一个场景是应用 MCU 解放端侧算力。
通常状况下，咱们做 RTC 直播时，观众看到的直播画面是通过 RTMP 协定来实现的，这种状况下因为提早的起因观众是无奈参加到直播互动的。要加强观众的互动性，须要大家都退出 RTC 网络，每个端订阅多个流对端的算力和网络流量都是十分大的累赘。
咱们通过云端的 MCU 把流合并，从新进入到 RTC 会议里，这样观众能够通过 RTC 形式看到直播流，十分不便进行互动，同时也无需耗费过多的端上资源。这种模式咱们称为互动低延时模式，曾经是咱们一个成熟的产品能力。
第二个场景，云转推。
这是一个咱们买通阿里外部服务能力的例子，咱们通过和阿里团体安全部的单干，将 RTC 的流通过内网和安全部的产品买通，缩小了中间环节，实现低成本、低提早的内容审核。
第三个场景，云特效。
置信这个场景大家曾经看过，利用云端的解决，咱们实现了虚构会议室，通过云端的 MCU 将所有人进行抠图 + 贴图，来晋升视频会议时的参会体验，这是阿里外部散会时曾经能够使用到、并看到的技术。
下面展现的实时虚构形象，是依靠 GRTN 实时传输网络，将视频流传输到云端，云端对视频进行抠图，变声，卡通化等简单的 AI 解决，终端只负责展现，从而实现了端侧零解决。
“零解决“作为下一代实时交互解决方案，在云厂商中率先推出，解决了新交互时代因端侧算力受限而无奈实现的虚构交互场景难题，充分利用云端一体的超精密算力，以云特效构建实时虚构场景，是全面关上沉迷交互新世界的一项重要演进。
原文链接
本文为阿里云原创内容，未经容许不得转载。