简介： 随着带宽老本的升高和端上算力的晋升，在直播、短视频中基于流的互动玩法也将越来越丰盛；无论是基于人脸、手势、宰割算法的智能化贴纸，还是联合算法的小游戏有了越来越好的舞台；业界短视频和直播次要针对的娱乐性的场景，更是将娱乐化的玩法用到了极致，例如抖音的仿 flappy bird 潜水艇小游戏，最气的漫画格调的拍摄玩法都引爆成为热点。抖音有 PC 的玩法生产工具 EffectCreater 生产工具和挪动端的玩法社区特效君，曾经打打造了一个反对数以万计的设计师的生态圈。

背景

随着带宽老本的升高和端上算力的晋升，在直播、短视频中基于流的互动玩法也将越来越丰盛；无论是基于人脸、手势、宰割算法的智能化贴纸，还是联合算法的小游戏有了越来越好的舞台；业界短视频和直播次要针对的娱乐性的场景，更是将娱乐化的玩法用到了极致，例如抖音的仿 flappy bird 潜水艇小游戏，最气的漫画格调的拍摄玩法都引爆成为热点。抖音有 PC 的玩法生产工具 EffectCreater 生产工具和挪动端的玩法社区特效君，曾经打打造了一个反对数以万计的设计师的生态圈。

淘宝直播和短视频更偏差电商场景，咱们也在摸索这些玩法在直播和短视频中的利用，对晋升直播间停留时长，丰盛直播间和短视频内容；其中在视频流外面渲染和算法调用简直都是 Native 的能力，如果用 iOS 和 Android 上别离实现，性能较难把控，开发成本、上线和下线老本高，必须在流动前很长时间开发，而后随着版本发版，流动完结后为了缩小包大小，又须要将代码删除，玩法也无奈积淀。

跨端计划成为惟一抉择，为了进步经营、设计和玩法开发人员的制作效率，咱们也必须有配套的素材生产工具和玩法编辑工具， 解决素材制作 - 成果调试和预览 - 素材上传 - 素材投放全链路的问题，同时咱们也心愿玩法能联合权利产生更大价值。

跨平台渲染计算引擎

首先在底层渲染层，咱们开发了基于 C ++ 的跨平台渲染计算引擎 RACE，除了为传统的视频前解决、画质加强、美颜美型美妆外，也提供了动画零碎、玩法零碎等游戏化的能力，在一个渲染引擎外面将媒体渲染和游戏化渲染联合起来。

咱们采纳了游戏行业经典的 ECS 零碎，加以简化和改良，来解决渲染关系，渲染逻辑和玩法逻辑的组织。

玩法往往须要多个算法的配合，同时视频美颜、前解决等等也须要算法的能力，端上算力无限，正当的算力治理调度也必不可少，所以咱们开发了 PixelAI 对立的算法计算框架，一个是用来进行算法生命周期模型治理、还有算法调度，性能监控，同时也提供了多平台的算法运行时对立的基建设施，这样算法同学只有做好模型推理和算法实现，所有工程化的货色一站式解决。

脚本零碎设计

在玩法方面，咱们心愿玩法能够动静下发，这就须要能用脚本去做玩法，咱们心愿将渲染计算的能力全副导出到脚本零碎外面，这样就能够在脚本外面利用底层弱小的能力；同时玩法外面能够不便的调用业务接口，做好玩法和业务的关联，业务逻辑次要在 Weex 和 H5 环境，同时咱们也心愿脚本能力可能应用在编辑器上，供跨端的前端框架如 Electron 或 Flutter 间接调用，这样节俭了大量的编辑器开发工作量。

咱们在不同 JS 引擎上封装了一层 JS Wrapper 层，抹平不同 JS 引擎的 JSBinding 问题，利用 LLVM 剖析 c ++ 头文件，利用 python 工具编写 JSBinding 模板全自动化导出 C ++ 到 JS 的接口；对原有的渲染计算框没有做任何批改，这样在不须要玩法的状况下，不影响稳定性；

同时咱们也导出了一份 OpenGL 到 WebGL 的接口，这样齐全能够在 JS 侧能在视频流外面实现更丰盛的渲染能力。

MediaAI 素材玩法编辑器

编辑器咱们和前端和设计师单干，采纳 Electron 计划，编辑器预览和编辑窗口的显示外围由 RACE 渲染计算对立提供，Electron 底层是 NodeJS,NodeJS 的 JS 引擎是 V8，只有将 RACE 的 JSBinding 接口间接注入到 V8 外面，编辑就能够调用全副的 RACE 接口做窗口预览和编辑，这样编辑器开发就节俭了大量的开发工作量；

编辑器中接入素材平台，经营和开发人员编辑好素材和玩法之后，上传到素材治理平台，由素材治理平台进行散发，玩法类由有相应权利的主播或者经营设置好参数，如玩法对应的权利，下载玩法到推流端或者播放端，在端上的 JS 环境中解析 JS 脚本，加载素材和玩法逻辑，渲染和计算局部底层对立由 JS binding 调用到跨平台的 RACE 引擎实现，残缺链路如下：

编辑器既能够面向设计师制作各种人脸手势触发贴纸、视频文字模板等等，又能够面向前端开发者制作互动小游戏：

局部落地

春节期间淘宝直播推出的春节气氛：

直播前面比拟乱，利用宰割算法来个背景含糊，或者来个抱抱宝宝的小怪兽：

商家心愿主播和达人可能拍摄短视频对商品进行介绍推广，主播和达人也可能从短视频的购买中分佣，对宽广中小主播和达人而言，将商品寄送到每个可能会推广的主播和达人老本昂扬，咱们 360 度的拍摄一个商品，而后利用主播能够用手势管制缩放旋转商品别介绍，这样就能够极低成本无接触式的生产商品推广短视频；

在直播连麦或者粉丝连麦中做个 flappy bird 的小游戏？或者主播在发放红包后，粉丝通过玩游戏通过游戏得分能力支付红包，这样既乏味，又将粉丝留在直播间；

来点可恶又萌的美妆贴纸（原谅一个程序员全程情谊出镜）；

后记

一个好的媒体互动产品能给业务带来更多的生机，但往往须要创意设计师、算法、底层和业务开发共同完成，端上算力无限，特地是在淘宝直播，手淘短视频等场景下，其余业务曾经占用了很高的性能，须要灵便高效的架构，很好的性能，针对高中低端机的分级体验。在电商场景下，开掘更适宜电商玩法的互动能给业务带来更大的价值，好玩的互动再跟权利绑定，为商家、主播提供更多更好玩的经营工具；在大促流动提供更乏味的玩法、日常流动外面提供更好的留存伎俩。

咱们近期会新增很多的渲染能力和算法能力，打造好根底，这样才会更大的施展大家的创意；咱们近期也将举办一个素材设计较量，激活大家的创造力，等配套工具更欠缺，咱们也会将工具凋谢给内部的商家、主播等，打造更好玩的直播短视频生态。

原文链接
本文为阿里云原创内容，未经容许不得转载。