共计 3100 个字符，预计需要花费 8 分钟才能阅读完成。
摘要：互联网视频通过几代倒退，用户体验疾速降级，对翻新玩法、互动性要求越来越高。那如何解决这些问题？媒体 AI，是行业共识。华为云提供云原生实时媒体 AI 能力，联结搭档打造 AI 算法凋谢生态市场，减速视频业务翻新，云端特效就是其中一个用例。
随着视频业务一直降级，用户对体验的要求越来越高，比方要互动性更强、玩法更多样，体验更酷炫等。另外，直播业务、RTC 业务，内容同质化比较严重，内容发明、用户体验也都遇到了天花板，这些都须要一些技术去突破它。华为云跟斗鱼长期碰撞，独特摸索后，失去一个命题：通过媒体 AI 去做这个事件。当初的直播视频外面有很多直播特效，包含像美颜、美型、虚构主播、背景替换等，同时华为云面向在线教育的场景，也会有一些像课堂评测的能力，都是基于媒体 AI 去做的。
构建媒体 AI 目前面临的三大痛点
以后，媒体 AI 的构建有几大痛点：
1. 终端：类型多、算力弱。
目前很多的媒体 AI 能力都是在终端实现的，尽管终端的算力在一直晋升，但像一些高复杂度的特效是做不了的，比方虚构人物。背景替换以后的成果也很个别，你能看出一个显著的轮廓，当然更不要说实现对标电影级特效的背景替换了。
2. 云端：实时互动弱、老本高。
当初很多在云端去做的视频 AI，个别都是偏差于离线的业务，它对互动体验的满足性绝对比拟低。在直播实时互动的时代，这是无奈满足需要的。而且因为音视频数据在边缘和云端源站互相传输，引入较高的带宽老本。
3. 翻新门槛高、生态关闭。
当初 AI 的能力，各厂家都是独立开发，各玩各的，生态绝对是比拟关闭的。
华为云心愿基于云原生，和搭档一起构建一个边云协同的实时媒体 AI 的能力，去解决上述痛点，减速视频业务翻新。
实时媒体 AI 的定义及外围价值
华为云给实时媒体 AI 做了一个定义，基于华为云原生的边缘、计算、容器、存储、网络等服务能力，构建丰盛的实时媒体 AI 解决能力，同时联同搭档打造生态凋谢的 AI 算法市场，减速视频业务翻新，为客户提供差异化竞争力，为用户提供更优质的体验。
先举个简略的例子，咱们把以后直播和 RTC 里端侧做的一些特效，通过边缘云的形式来实现，退出更多更酷炫的特效，比方成果更好的背景替换，晋升互动性的 AR 卡通、虚构人物等等。
以后，实时媒体 AI 还处在一个摸索推动的状态中，咱们心愿其能实现如下 4 个外围价值：
1． 玩法更多。 当前直播和 RTC 业务有更多的 AI 能力能够用，能够组合，来实现更多更酷炫的翻新玩法；
2． 体验更优。 有了这些翻新玩法后，用户对实时互动的体验要求是比拟高的，咱们心愿实现“提早无感”的体验，与本地应用高端机是同样的体验成果。还有一点针对算法开发者来说的，能够基于云的平台，更快地公布、更快地开发，更快地去体验验证。
3． 老本更低。 目前大部分媒体 AI 的能力是基于端侧实现的，因为一提到云侧，就会想到 GPU、各种硬件平台的老本会比拟高，但咱们心愿能把这块的老本降下来。这里包含两个局部，一是用华为云对立的软硬件资源，进步资源的复用率，升高每一路资源老本，二是基于云上对立平台，一键更新，无需适配多种终端，来升高算法开发和 APP 更新的老本。
生态凋谢。 咱们心愿构建一个凋谢的 AI 算法生态市场，防止各家闭门造车、各玩各的的状态，心愿能通过 AI 算法的互通共享，来升高算法开发门槛。
这些外围价值的实现，都是基于云原生，上面将从实时媒体 AI 的云原生架构、实时处理框架、算法凋谢几个方面具体介绍一下如何通过云原生实现外围价值的。
实时媒体 AI 云原生架构
首先介绍一下实时媒体 AI 基于云原生的架构。
从下往上看，首先它是基于华为云的边缘节点，用华为云 IEF 边缘治理服务对整个的节点软硬件资源做一个纳管，进行调度。其次，框架基于华为云 EI 平台，提供 ModelArts 训练等多种能力，反对 Tensorflow、PyTorch 等支流深度学习框架。框架里还蕴含一个 SWR（镜像仓库）的服务，这个服务既能够集成公布华为 EI 自研算法镜像，也能够集成第三方基于 EI 的算法镜像。还有一个关键点要介绍，咱们提供一个高性能边缘函数计算能力，这个能力实际上是面向实时媒体 AI 业务做的一个函数级解决框架结构，它能够十分高性能地将所有的 AI 算法实时调度到边缘节点上，并对边缘函数进行编排。实时媒体 AI 平台，用于卸载终端上的媒体解决能力，缩小媒体解决适配不同终端平台的开发量，并保障不同终端平台体验成果统一，面向不同解决方案提供归一化的媒体解决能力。
咱们通过这个架构，提供更多更优的媒体 AI 玩法，同时，它对立算法的翻新发开平台，能够防止多终端适配。
实时处理函数框架
如后面所述，实时媒体 AI 的外围是实时，如何最大水平的升高端到端解决时延，让用户对提早“无感”。
实时媒体 AI 除了将实时处理能力下沉到边缘，就近提供解决、升高链路时延之外，还重点构建了实时处理函数框架，用来升高解决时延。该解决框架次要以下几个方面升高端到端解决时延：1）基于华为云昇腾、鲲鹏等硬件，对 AI 算法、视频编解码算法做减速解决；2）通过高速总线减速 AI 算法容器之间视频原始数据传输；3）通过函数资源池预热机制提前加载 AI 算法，升高启动时延等。整个解决流程，咱们是心愿能做到 100 毫秒以内，加上网络的时延，能做到 300 毫秒以内。这样的话，对用户而言，提早是无感知的。
云原生算法凋谢
如后面所说，华为云不仅仅是构建一个实时媒体 AI 服务能力，更心愿的是构建面向多种业务场景的实时媒体 AI 算法生态，心愿更多的搭档参加进来，一起推动业务翻新、用户体验晋升。
基于这个想法，华为云构建了一个算法凋谢的流程，包含所有实时媒体 AI 算法的规范算法接口和集成流程，也包含算法生态市场的构建，咱们都会陆续的推出。这样的话，不论是基于华为 EI 平台去构建的 AI 算法，还是思考到数据的隐衷性，基于本人的平台去构建的 AI 算法，都能够通过这个流程集成到咱们实时媒体 AI 外面。
实时媒体 AI 利用案例—斗鱼
基于华为云云原生 RTC 实时音视频服务以及实时媒体 AI 能力，斗鱼实现实时云端特效，将端侧难以实现的特效能力向云侧转移，为用户提供“提早无感”的实时互动体验，促成业务翻新，晋升业务粘性。华为云当先的云原生技术，让斗鱼能够专一云侧翻新，防止适配多种终端，疾速验证翻新成果，大幅晋升研发效力。同时，还能防止 SDK 频繁更新带来的用户屡次下载，晋升用户应用体验。
基于华为云和斗鱼的算法，单方还构筑了一个富裕设想空间的算法生态。面向未来，单方将继续深入单干，基于 AR/VR 提供更多翻新玩法，联合华为云算法商城为主播带来更多场景抉择，谋求更优用户体验。
目前咱们正在跟斗鱼一起做美颜、美型、滤镜、贴纸等实时云端特效，这些特效会集成在斗鱼的直播平台外面，后续虚构形象、背景替换等特效也会陆续上线。
低时延云端美颜、背景替换 DEMO
第一个 DEMO 是以后跟斗鱼一起做的一个低时延云端美颜特效，外面包含美白，磨皮等一系列的解决。这个端到端的时延，目前咱们在网络比拟好的状况下，能够做到 150 毫秒。正如咱们看到的两个比照视频，基本上是同步的，肉眼看不出差异性。
另外的一个 DEMO 是背景替换的。是一个常识视频外面做的背景替换。前面还会把背景替换成果做得更好，能像电影级的，比如说把背景替换和美颜美型、虚构形象等组合叠加，做出更好更炫的成果。
华为云心愿实时媒体 AI 是作为减速视频业务翻新的一个要害伎俩，可能提供更多的解决能力，更优的互动体验，更低的翻新老本，当然也心愿更多 AI 算法合作伙伴们的退出，一起来独特打造一个凋谢生态！
本文分享自华为云社区《实时媒体 AI，突破内容创作天花板，减速视频翻新》，原文作者：音视频大管家。
点击关注，第一工夫理解华为云陈腐技术~
