以一只音视频百宝箱，应答「千行千面」。

洪炳峰、楚佩斯｜作者

大家好，明天我分享的主题是MediaBox——行业音视频数字化再减速。

依据权威数据表明，65%的行业数字化信息来自视频，基于此，音视频技术对于行业数字化来说是至关重要的。明天我想借此机会向大家介绍一个重量级的客户端产品——MediaBox，它将致力于实现行业音视频数字化再减速。

MediaBox，顾名思义，是一个无所不包的音视频魔盒。在这里，多种音视频能力的SDK可供任意抉择、自由组合、多端适配，一次性满足多种音视频需要。

接下来我将从MediaBox初识与全景、音视频终端SDK的架构设计和演进、音视频低代码开发的场景建设与实际和生态单干及将来瞻望四个方面进行分享。

01 MediaBox初识与全景

从需要侧来看，传统音视频技术已倒退多年，在行业化的过程中被广泛应用于互娱行业。同时，也在逐步向教育、医疗和批发等传统行业浸透，刺激了传统行业需要的旺盛增长。

从研发侧来看，音视频的复杂度使得行业客户也面临许多挑战，例如开发门槛高、接入复杂度高、性能挑战大等等。

基于这些行业趋势和挑战，企业的音视频诉求可总结为：高易用、高性能、场景化、多端化的多SDK组合及计划。阿里云视频云“MediaBox音视频终端一体化套件”就给出了这些问题的最优解，通过极致的自我进化，减速行业音视频数字化落地。

这里分享一个大家比拟相熟的互娱场景：直播PK。在开播端须要RTC技术支持直播推流和旁路直播；在PK时须要借助IM信令实现交互、RTC实现音视频流传输以及进行混流布局。这样的场景就须要多个SDK和云产品组合实现，那么相比音视频SDK，咱们更须要场景化的解决方案。

通过MediaBox全景图，能够看到，MediaBox由音视频终端SDK、音视频低代码AUI Kits两大部分组成，并基于行业生态单干构建音视频场景计划。

MediaBox音视频终端SDK全面笼罩实时音视频、直播、超低提早直播、播放器、短视频、美颜特效等，通过自由组合出包，造成一系列不同能力的SDK，为客户提供灵便、易用、高效的接入体验。

MediaBox AUI Kits通过对MediaBox SDKs单点能力做场景化的封装，不便客户将某个视频场景化的能力疾速集成到本人的利用中。客户不须要了解音视频SDK中API的具体用法，只需关怀本人的业务实现，即可实现场景化的音视频能力，从而大大放慢业务开发过程。

MediaBox的劣势能够总结为“一体、三高、多场景”。

首先是一体化：次要是SDK一体化和云端一体化。基于SDK一体化的底座，既能够不便地进行SDK开发，也能够进行SDK组合，满足不同的业务需要；云端一体化，比方特效引擎实现端云体验一体化，智能缓存、调度优化等实现端云一体化。

三高，指的是高易用、高性能、高智能。基于一体化SDK，咱们能够实现SDK的灵便组合，并且联合AUI计划实现低代码接入以保障易用性；另外，SDK的稳固和高性能是重中之重；同时，SDK的智能化能够很好地服务各种场景需要。

最初是场景化，场景化计划要解决易用和好用的问题。举个简略的例子，长视频和短视频场景，在起播buffer的设置、缓冲区大小、本地缓存的设置上是有很大差别的，而客户须要的是能够根据具体需要，开箱即用的场景化计划。

02 MediaBox音视频终端SDK的架构设计和演进

接下来介绍MediaBox音视频终端SDK的架构设计。

在此之前，给大家分享两则小故事。大家晓得国产大飞机C919上有多少个整机吗？据相干报道，C919上一共有250万个整机，如此多的整机须要通过残缺的系统工程组装起来，并且其中的每个整机都十分重要。

如果咱们把MediaBox比作一架飞机的话，那么其中的各个子模块就相当于整机，如何进行有序组装、并残缺实现整体性能就成为了一个微小的挑战。

另外一个分享是对于汽车制作平台。咱们晓得，不同车型能够在同一个制作平台上生产，共用整车设计，尤其是底盘设计和车辆构造。同样的，MediaBox基于一体化的底座，能够疾速迭代和开发SDK产品。

上图是MediaBox一体化SDK的总体架构。它是一个分层的架构，SDK的Crash捕捉和License认证都是作为通用能力服务于整个SDK，在SDK之外还有很多研发撑持工具，来保障SDK研发的效率和稳定性。

在SDK的倒退初期，各个业务为了满足需要，会各自进行SDK的迭代。随着客户业务的倒退，会须要应用多个SDK来实现性能需要，如果强行把这些SDK交融在一起，在包大小方面也不是最优的，而且可能会产生包抵触。

于是咱们针对几个次要原子SDK的功能模块做了剖析。如图所示，各个SDK之间有很多能够共用的模块，通过SDK模块，能够更好地进行模块复用，同时实现包大小的升高，另外也能够实现更多的性能优化和兼容性晋升。

这些组件抽离后，如何将它们组合到一起呢？能够通过pipeline机制来串联从采集到渲染的整个流程。而音视频pipeline的结构、运行、销毁等全生命周期治理，则须要由微内核来实现，它具备高效、灵便的特点，同时因为引入了插件治理，能够实现插件的插拔，晋升SDK的扩大能力。

接下来通过一个示例展现插件设计。

某位客户心愿引入智能降噪的功能模块，个别状况下智能降噪模块是基于深度学习网络实现的，所以其SDK包绝对很大。如果咱们间接把该模块引入SDK，会导致整个SDK的size过大。

通过前文介绍，pipeline机制能够很好地串联外部组件，那么对于内部组件是否有好的解决之法？咱们在微内核中通过插件占位实现了插件的热插拔，真正实现一套插件代码、一次打包，同时满足两种客户的诉求。

后面介绍了一些架构设计的思考，接下来就波及到一些理论落地的艰难和挑战。

第一个问题，是重写SDK，还是基于现有的SDK进行演进？在业务需要的推动下，只能抉择后者，但这相当于开着飞机换引擎，对于整体稳定性的考验十分之大。

第二个问题，对于一台整机泛滥的宏大机器，如何让它顺畅地运行起来？多团队如何合作？版本如何治理？

一体化工程波及到多个组件，各个组件的版本治理、依赖关系也相当简单，组件也很难独立被援用。因而咱们设计了一个灵便组件管理工具：ACPM（Aliyun C++ Package Manager）。它由两个次要的模块组成：

1、依赖模块：负责依据形容剖析依赖关系、下载对应组件、生成cmake工程须要的编译文件；

2、公布模块：负责托管组件动态库（在MTL上），并记录公布时的具体信息，以供依赖时剖析。

通过这样的形式，咱们能够更好地治理各个组件。举一个理论利用的例子，短视频、直播、RTC都应用到了视频采集模块。如果针对此模块做交融，间接重写一份模块进行共用，在理论运行过程中可能会遇到一些挑战。

咱们采纳的形式是ACPM化，在一个绝对业务量较小的业务（如短视频）内，将其SDK中的视频采集模块ACPM化，另外两个业务仍应用原有的模块。在前者的ACPM化模块逐步稳固后，再将后两者的模块进行ACPM化，就可达到整体组件应用和工程效率上的交融。

ACPM化也能够利用在公共组件、音视频算法等当中。在跨平台上，咱们不仅反对了Android/iOS/Win/Mac多端，还反对了Web端，能够输入成Web Assembly代码，这样一些Native客户端的能力能够疾速无缝转到Web平台，实现多端体验的一致性。

比方美颜特效SDK，能够通过ACPM编译成Web Assembly代码来供Web平台应用，因为底层代码是同一套，在体验上也最大水平地保障了一致性。

接下来以一个高性能算法特效执行引擎在Web端的实际为例，介绍如何用一体化的框架落地。

如图中的特效引擎，有其pipeline以及数据输出组件和图像处理组件，它能够打包成Android/iOS/Win/Mac以及服务端的版本，在Web端通过WASM的形式撑持相干业务。

Web上会有性能差和性能受限的问题，咱们通过Profile工具生成火焰图，剖析耗时函数，并将其进行SIMD替换。另外，通过在Web上开启多线程，能够晋升整体运行效率。

云端一体能够实现更极致的优化，是竞争力的体现。

咱们实现了一张网一个SDK，并笼罩常见的音视频相干场景。一体化SDK和一体化网络MediaUni的配合，能够实现端云一体化的体验，通过对接客户端SDK，即可便捷地应用云上的服务。

比方端云协同，能够实现智能调度，通过云端联动，智能管制播放缓存大小，以此降低成本。与媒体服务协同，能够实现智能按需转码，当发现某个热门视频时，能够智能启动转码，晋升播放体验的同时，也节约了客户的老本。

通过后面的计划，能够说飞机曾经造出来了，但还须要保障其稳定性。

首先是一体化对客，所有SDK共用一份License，进行对立受权认证、对立入口和疏导；

其次是高可用稳定性体系，通过Crash的收集、问题的智能归因，能够疾速辨认出问题的影响范畴；

而后是高可用数据体系，基于数据指标做埋点优化，针对异样指标进行监控；

最初是建设欠缺的自动化测试体系，来残缺保障SDK的品质和稳定性。

MediaBox在场景化实际中，同样基于端智能技术不断创新冲破。

例如，在端侧超分上，须要针对算法进行调优，并思考端侧算力的兼容性；另外，智能预加载会利用智能算法，基于以后网络情况、用户滑动行为、历史播放行为等信息，动态控制预加载缓存。

在远程教学一对多场景中，学生专一度降落导致教学效果差是远程教学始终以来的痛点，而场景智能为业务赋能带来了更多可能性。音视频终端套件，不止是单纯的开发工具，更是行业的创新型端口，以最轻量的形式，赋予场景全新的数智化能力。

03 MediaBox音视频低代码开发的场景建设与实际

咱们接触到的很多客户都不是业余做音视频开发的，因而他们都有一个独特的诉求，即心愿能提供一揽子解决方案，而本人只须要专一业务开发即可。

在这里，有几个值得探讨的问题：到底要实现什么样的组件，组件要实现到什么样的粒度，组件要不要凋谢？

基于这个逻辑，咱们开发了很多音视频的低代码根底组件，这些根底组件又能够组合成场景化组件。

AUI Kits的组件设计遵循对立标准、多端对立、简略易用这三个准则，实现了多端统一的UI格调。当然，咱们也提供了一些易用的工具，不便客户应用脚本实现一键引入，这样能够极大晋升客户的集成效率。

AUI Kits计划不只有UI控件，也蕴含与服务端紧密配合的场景化组件，其灵便的架构设计能够让客户不便地进行组件组装，另外外围组件的代码也是开源的。

以接入的某电商直播客户为例，基于场景化的解决方案，客户疾速接入音视频能力并跑通业务，同时依据需要自定义开发，定制化批改了其UI。

以下将以图中的例子阐明，场景化计划是如何来设计的。

场景化计划个别由App、AUI Kits以及App Server配合云服务来实现。为了不便客户一站式集成，App Server以后曾经对接了罕用的直播审核、录制等阿里云PaaS层性能，客户能够基于源码进行二次开发部署，或者间接应用容器化的形式实现服务部署。客户端的组件会与服务端进行交互，实现场景化的业务性能。

面向娱乐直播、电商直播、企业直播，咱们开发了互动直播AUI Kit场景解决方案，将常见的性能抽成组件实现。

在团体外部客户的某App电商直播场景，通过应用AUI Kit的直播播放、弹幕和橱窗等组件，实现了业务的疾速落地。此外，某新能源汽车公司疾速集成了AUI Kit计划，实现新车发布会的企业直播。

面向公开课、大班课、企业内训等场景，咱们开发了互动课堂AUI Kit场景化计划，并在此场景下，欠缺了互动白板、智能专一度监测等性能。

针对近程监考场景，音视频技术能够很好地赋能教育行业。

中国每年有很多艺术考试，在传统的形式中，艺术生都须要去现场考试。而近程监考场景具备很多难点，首先传统的RTC会议形式是所有考生都在一个会议里，某位考生和老师之间要实现独自通话，且其余考生听不到的需要是难以满足的；除此之外，艺考模式是大量学生同时在线，高并发的流量对于RTC零碎也是十分大的挑战。

针对痛点，近程监考AUI Kit计划凭借MediaUni网络，实现一对一通信，并反对万人场景下的高并发推流。

基于低代码计划，企业能够疾速实现计划集成，大大降低开发门槛。另外，近程监考计划笼罩了Android/iOS原生利用，微信/钉钉小程序以及Web等多端，保障了考试场景下的“高易用”。

同时，基于寰球3200+节点的底层网络，近程监考AUI Kit计划能承载10万+考生同时在线，实现监考端视频延时1秒内、1对1通话延时300ms内，全方位满足高牢靠、高并发、低延时、高清晰度的“极致好用”。

04 MediaBox生态单干及将来瞻望

MediaBox的场景化解决方案，能够升高开发门槛、晋升集成效率，因而咱们将一直开发出更多场景化计划，为行业音视频数字化助力。

此外，云端一体能够实现更极致的优化和更好的体验，这外面可开掘的空间微小，咱们还将联合场景深耕技术，让端云联合施展更大价值。

在端智能方面，咱们曾经实现了智能的预加载，能依据以后的网络状况、以后用户的行为等信息进行模型计算，给出决策。在行业音视频数字化过程中，场景计划中还会对端侧智能提出更多需要。端云联合的智能化、大模型加持下的智能化，都是十分有设想空间的方向。

最初，咱们在近期启动了MediaBox生态合作伙伴打算，招募战略伙伴以及重点搭档，并在销售、营销、技术、赋能等方面给予反对，为搭档提供更广大的倒退平台。期待与合作伙伴一起，强强联合，为行业客户提供简略、易用、高质量的视频云服务。

我的分享到此结束，谢谢大家！