摘要：互联网视频通过几代倒退，用户体验疾速降级，对翻新玩法、互动性要求越来越高。那如何解决这些问题？ 媒体AI，是行业共识。华为云提供云原生实时媒体AI能力，联结搭档打造AI算法凋谢生态市场，减速视频业务翻新，云端特效就是其中一个用例。

随着视频业务一直降级，用户对体验的要求越来越高，比方要互动性更强、玩法更多样，体验更酷炫等。另外，直播业务、RTC业务，内容同质化比较严重，内容发明、用户体验也都遇到了天花板，这些都须要一些技术去突破它。华为云跟斗鱼长期碰撞，独特摸索后，失去一个命题：通过媒体AI去做这个事件。当初的直播视频外面有很多直播特效，包含像美颜、美型、虚构主播、背景替换等，同时华为云面向在线教育的场景，也会有一些像课堂评测的能力，都是基于媒体AI去做的。

构建媒体AI目前面临的三大痛点

以后，媒体AI的构建有几大痛点：

1. 终端：类型多、算力弱。

目前很多的媒体AI能力都是在终端实现的，尽管终端的算力在一直晋升，但像一些高复杂度的特效是做不了的，比方虚构人物。背景替换以后的成果也很个别，你能看出一个显著的轮廓，当然更不要说实现对标电影级特效的背景替换了。

2. 云端：实时互动弱、老本高。

当初很多在云端去做的视频AI，个别都是偏差于离线的业务，它对互动体验的满足性绝对比拟低。在直播实时互动的时代，这是无奈满足需要的。而且因为音视频数据在边缘和云端源站互相传输，引入较高的带宽老本。

3. 翻新门槛高、生态关闭。

当初AI的能力，各厂家都是独立开发，各玩各的，生态绝对是比拟关闭的。

华为云心愿基于云原生，和搭档一起构建一个边云协同的实时媒体AI的能力，去解决上述痛点，减速视频业务翻新。

实时媒体AI的定义及外围价值

华为云给实时媒体AI做了一个定义，基于华为云原生的边缘、计算、容器、存储、网络等服务能力，构建丰盛的实时媒体AI解决能力，同时联同搭档打造生态凋谢的AI算法市场，减速视频业务翻新，为客户提供差异化竞争力，为用户提供更优质的体验。

先举个简略的例子，咱们把以后直播和RTC里端侧做的一些特效，通过边缘云的形式来实现，退出更多更酷炫的特效，比方成果更好的背景替换，晋升互动性的AR卡通、虚构人物等等。

以后，实时媒体AI还处在一个摸索推动的状态中，咱们心愿其能实现如下4个外围价值：

1． 玩法更多。当前直播和RTC业务有更多的AI能力能够用，能够组合，来实现更多更酷炫的翻新玩法；

2． 体验更优。有了这些翻新玩法后，用户对实时互动的体验要求是比拟高的，咱们心愿实现“提早无感”的体验，与本地应用高端机是同样的体验成果。还有一点针对算法开发者来说的，能够基于云的平台，更快地公布、更快地开发，更快地去体验验证。

3． 老本更低。目前大部分媒体AI的能力是基于端侧实现的，因为一提到云侧，就会想到GPU、各种硬件平台的老本会比拟高，但咱们心愿能把这块的老本降下来。这里包含两个局部，一是用华为云对立的软硬件资源，进步资源的复用率，升高每一路资源老本，二是基于云上对立平台，一键更新，无需适配多种终端，来升高算法开发和APP更新的老本。

生态凋谢。咱们心愿构建一个凋谢的AI算法生态市场，防止各家闭门造车、各玩各的的状态，心愿能通过AI算法的互通共享，来升高算法开发门槛。

这些外围价值的实现，都是基于云原生，上面将从实时媒体AI的云原生架构、实时处理框架、算法凋谢几个方面具体介绍一下如何通过云原生实现外围价值的。

实时媒体AI云原生架构

首先介绍一下实时媒体AI基于云原生的架构。

从下往上看，首先它是基于华为云的边缘节点，用华为云IEF边缘治理服务对整个的节点软硬件资源做一个纳管，进行调度。其次，框架基于华为云EI平台，提供ModelArts训练等多种能力，反对Tensorflow、PyTorch等支流深度学习框架。框架里还蕴含一个SWR（镜像仓库）的服务，这个服务既能够集成公布华为EI自研算法镜像，也能够集成第三方基于EI的算法镜像。还有一个关键点要介绍，咱们提供一个高性能边缘函数计算能力，这个能力实际上是面向实时媒体AI业务做的一个函数级解决框架结构，它能够十分高性能地将所有的AI算法实时调度到边缘节点上，并对边缘函数进行编排。实时媒体AI平台，用于卸载终端上的媒体解决能力，缩小媒体解决适配不同终端平台的开发量，并保障不同终端平台体验成果统一，面向不同解决方案提供归一化的媒体解决能力。

咱们通过这个架构，提供更多更优的媒体AI玩法，同时，它对立算法的翻新发开平台，能够防止多终端适配。

实时处理函数框架

如后面所述，实时媒体AI的外围是实时，如何最大水平的升高端到端解决时延，让用户对提早“无感”。

实时媒体AI除了将实时处理能力下沉到边缘，就近提供解决、升高链路时延之外，还重点构建了实时处理函数框架，用来升高解决时延。该解决框架次要以下几个方面升高端到端解决时延：1）基于华为云昇腾、鲲鹏等硬件，对AI算法、视频编解码算法做减速解决；2）通过高速总线减速AI算法容器之间视频原始数据传输；3）通过函数资源池预热机制提前加载AI算法，升高启动时延等。 整个解决流程，咱们是心愿能做到100毫秒以内，加上网络的时延，能做到300毫秒以内。这样的话，对用户而言，提早是无感知的。

云原生算法凋谢

如后面所说，华为云不仅仅是构建一个实时媒体AI服务能力，更心愿的是构建面向多种业务场景的实时媒体AI算法生态，心愿更多的搭档参加进来，一起推动业务翻新、用户体验晋升。

基于这个想法，华为云构建了一个算法凋谢的流程，包含所有实时媒体AI算法的规范算法接口和集成流程，也包含算法生态市场的构建，咱们都会陆续的推出。这样的话，不论是基于华为EI平台去构建的AI算法，还是思考到数据的隐衷性，基于本人的平台去构建的AI算法，都能够通过这个流程集成到咱们实时媒体AI外面。

实时媒体AI利用案例—斗鱼

基于华为云云原生RTC实时音视频服务以及实时媒体AI能力，斗鱼实现实时云端特效，将端侧难以实现的特效能力向云侧转移，为用户提供“提早无感”的实时互动体验，促成业务翻新，晋升业务粘性。华为云当先的云原生技术，让斗鱼能够专一云侧翻新，防止适配多种终端，疾速验证翻新成果，大幅晋升研发效力。同时，还能防止SDK频繁更新带来的用户屡次下载，晋升用户应用体验。

基于华为云和斗鱼的算法，单方还构筑了一个富裕设想空间的算法生态。面向未来，单方将继续深入单干，基于AR/VR提供更多翻新玩法，联合华为云算法商城为主播带来更多场景抉择，谋求更优用户体验。

目前咱们正在跟斗鱼一起做美颜、美型、滤镜、贴纸等实时云端特效，这些特效会集成在斗鱼的直播平台外面，后续虚构形象、背景替换等特效也会陆续上线。

低时延云端美颜、背景替换DEMO

第一个DEMO是以后跟斗鱼一起做的一个低时延云端美颜特效，外面包含美白，磨皮等一系列的解决。这个端到端的时延，目前咱们在网络比拟好的状况下，能够做到150毫秒。正如咱们看到的两个比照视频，基本上是同步的，肉眼看不出差异性。

另外的一个DEMO是背景替换的。是一个常识视频外面做的背景替换。前面还会把背景替换成果做得更好，能像电影级的，比如说把背景替换和美颜美型、虚构形象等组合叠加，做出更好更炫的成果。

华为云心愿实时媒体AI是作为减速视频业务翻新的一个要害伎俩，可能提供更多的解决能力，更优的互动体验，更低的翻新老本，当然也心愿更多AI算法合作伙伴们的退出，一起来独特打造一个凋谢生态！

本文分享自华为云社区《实时媒体AI，突破内容创作天花板，减速视频翻新》，原文作者：音视频大管家 。

点击关注，第一工夫理解华为云陈腐技术~