共计 3703 个字符，预计需要花费 10 分钟才能阅读完成。
背景简介
元宇宙的倒退历程
元宇宙的倒退始于 1992 年，大抵的倒退能够分为 2 个阶段，一个是初始阶段，从 1992 年到 2020 年。第二个是摸索阶段，从 2020 至今。
元宇宙热点技术
元宇宙的热点技术次要包含以下 6 大技术：
- 区块链技术：NFT、DeFi、公链速率、智能合约、DAO 社交体系、去中心化交易所、分布式存储等区块链技术是撑持元宇宙体系最重要的技术。
- 物联网技术：为元宇宙万物链接及虚实共生提供牢靠技术保障。
- 网络及运算技术：纵观发展史，通信网络（传输速率）的晋升始终是主旋律，通信网络和云游戏的成熟，夯实了元宇宙网络层面的根底。
- 人工智能技术 AI：为元宇宙大量的利用场景提供技术撑持。
- 电子游戏技术：游戏是元宇宙的出现形式，它的交互灵便、信息丰盛，为元宇宙提供创作平台、交互内容和社交场景并实现流量聚合。
- 交互技术：交互技术继续迭代降级，一直深入感知交互，为元宇宙用户提供沉迷式虚拟现实体验阶梯。
对音视频架构带来的挑战
在元宇宙的场景中咱们看到了很多音视频技术的元素，比方游戏语音、低延时拉流等，外面很多的能力都波及到了音视频畛域。因而咱们回过头来思考咱们本人的音视频产品，总结进去要撑持元宇宙业务的倒退须要做哪些事件。换句话说，就是元宇宙的倒退会给音视频架构带来哪些挑战：
“驱动技术创新、提供极致的沉迷式交互体验”。简略的视频通话、语音聊天以及实时互动等交互方式曾经远远不能满足新兴的元宇宙业务。3D 虚构形象社交、具备 3D 音效的这种实时语音等等关键技术曾经成为了必不可少的组成元素。驱动这些技术的翻新和优化、冲破原有音视频畛域相干技术的边界，为用户提供极致的沉迷式体验成为了咱们音视频架构面临的一个强有力挑战。
“促成多业务交融、提供整体解决方案”。元宇宙中的音视频业务大部分都是一个综合的、简单的利用场景，例如很多业务会同时有 RTC、虚拟人、超低延时数据传输、低延时直播等等丰盛的需要。因为不同场景需要须要独立集成对应的能力 SDK，而每个 SDK 的集成或者接入的形式又不尽相同，造成接入的 SDK 数量多、复杂度高，接入的效率比拟低。因而如何设计一种好的 SDK 架构，在提供高可用和高稳固业务性能的同时，可能通过技术组合的形式将所有业务交融在一起，为用户提供整体的一站式解决方案也成为了音视频架构面临的一个全新挑战。
构建新一代音视频引擎
对于第一个挑战点：“驱动技术创新、提供极致的沉迷式交互体验”。咱们针对性地对云信的音视频引擎做了架构的降级和能力的补充，次要包含以下三局部内容：音视频引擎架构设计、超低延时数据传输架构设计和算法组件化架构设计。
音视频引擎架构设计
在音视频引擎架构设计这块，咱们推出了网易云信的新一代音视频引擎 NERtcEngine。NERtcEngine 次要包含“视频引擎、音频引擎、网络引擎、数据引擎和算法组件引擎”五个外围引擎。绝对于老一代的引擎架构，咱们充分考虑元宇宙场景中的超低延时数据传输场景，设计和实现了数据引擎。同时，元宇宙场景中沉迷式体验使用到了很多新的音视频算法和 AI 算法，驱动咱们对算法集成形式做了一次大的重构，设计和实现了根底算法组件引擎，让咱们能更加灵便和高效地治理引擎应用到的各种各样的算法。全新的音视频架构如图所示。
咱们将原有的视频、音频和网络相干的外围模块做了形象和整顿，对立到了引擎层里，并且在引擎层减少设计了数据引擎；同时设计和实现根底算法组件引擎，最终的架构档次分为四层：接口层、引擎层、算法层和根底层。
- 接口层：对外提供的音视频能力接口层。
- 引擎层：封装了视频引擎、音频引擎、网络引擎和数据引擎的主体 pipeline 流程。
- 算法层：新的根底算法组件引擎层，负责管理和保护引擎外部应用到的所有音视频算法。
- 根底层：日志、埋点上报等等根底依赖库层。
其中架构图中突出的黄色局部就是咱们明天想着重介绍的 2 大部分。
超低延时数据传输架构设计
设计数据引擎的目标次要是为了实现超低延时的数据传输场景。这个流程其实是一个波及引擎、网络和服务器的简单流程。数据引擎次要负责“传输协定的实现、发送 / 接管的策略管制以及网络 QoS 调节策略等等在内的整个 pipeline 的实现”。那咱们的 WE-CAN 大网负责提供“低延时的寰球智能路由网络，提供专线级的数据传输通道”。
那这么做有什么益处呢？整体架构上设计独立的数据传输通道，一是能够保障原有音视频传输通道稳固和高效；还能够为数据传输通道独自制订和适配相应的传输协定、发送 / 接管控制策略和 QoS 调节策略等，齐全跟音视频的相干策略独立开来，针对性地优化数据传输的业务场景。一个比拟典型的例子，就是咱们在虚构遥感管制场景中，须要一直传输和交互超低延时的工业控制指令，这就须要一个从发送端到网络到服务器再到网络最初到接收端的一个整体的数据传输通道。
算法组件引擎架构设计
随着元宇宙业务反对过程中一直引入各种各种新的音视频算法和 AI 算法，新老算法间的共存和兼容、新的算法模型对 SDK 包大小的影响等状况，给咱们的算法库治理带来了很大的挑战。所以实质上这个算法组件引擎就是咱们对根底算法库治理形式的一个重构，它次要有三大特点：
对外集成接口对立：所有算法对立一套接口，集成形式十分敌对。
反对插件化集成：每个算法作为独立单元以插件化的形式集成，能够灵便实现算法的定制化集成，准确地管制 SDK 的包大小。
扩展性强：后续新增的算法只须要实现几个对应的集成 API 就能够不便、疾速地集成到框架中。比方，咱们当初是设计了四个接口：初始化、设参、解决和反初始化，新的算法只有实现了这四个接口之后就能集成到咱们这个算法组件引擎中了。
构建新一代音视频 SDK
元宇宙业务倒退给咱们音视频架构带来的第 2 个挑战点是：“促成多业务交融、提供整体解决方案”。这是一个很综合性、很简单的一个技术挑战点。针对这个挑战点，咱们也做了 3 件要害的事件：“交融 SDK 架构设计、SDK 插件化集成方案设计和高接通方案设计”。
交融 SDK 架构设计
后面咱们晓得了元宇宙中的音视频业务大部分都是一个综合的、简单的利用场景，有 RTC、虚拟人、实时数据传输等等，业务中会应用到咱们多个 SDK 的性能，这样意味着用户为了实现某个元宇宙业务场景须要集成和应用到咱们的多个 SDK。因为依照咱们老的 SDK 架构，不同的业务性能是承载在不同的 SDK 上的。这就给咱们的元宇宙用户带来更高的接入门槛和接入老本。为此，咱们设计和实现了新一代的音视频 SDK：NERtcSDK。它是一个交融 SDK 的架构设计，同时反对 RTC，虚拟人、低延时直播、超低延时数据传输等等。交融 SDK 的架构图如下图所示。
应用了交融 SDK 架构之后，对于简单、综合的业务场景，比方 3D 虚拟人社交、虚构实时展会等，不论场景中同时有多少种业务诉求，都只须要实现一次接入即可，极大地提高了用户接入的速度和效率，升高了用户的接入老本。
SDK 插件化集成方案设计
在设计和实现交融的 SDK 架构设计，解决大型元宇宙业务集成痛点的同时，咱们设计和实现了 SDK 插件化集成计划，能够让用户自由选择所要集成的 SDK 性能。这样无论是简略还是简单的集成场景，对用户来说都十分的敌对。
该计划次要有以下四个特点：
- 灵便抉择：反对动态编译期、动静加载期间的定制化抉择。
- 准确管制：按需集成对应的插件组件，准确管制 APP 的安装包大小。
- 高效接入：多种业务需要也只须要做一次的接入工作。
- 疾速扩大：后续新的业务 SDK 能够疾速集成到交融 SD K 框架中。
新一代音视频架构在元宇宙场景的技术实战
以上就是咱们如何去应答元宇宙业务倒退给咱们音视频架构带来的挑战。一是重构音视频引擎架构，特地是设计和实现数据引擎和根底算法组件引擎，让更多的元宇宙技术元素，包含各种元宇宙业务相干的技术和算法进入到引擎中，让提供极致的沉迷式交互体验成为可能。二是设计和实现交融 SDK 架构和插件化集成计划，无论是简略的还是简单的元宇宙业务场景，都能疾速地提供高质量的音视频能力，为用户提供一站式的整体的解决方案。
接下来咱们介绍一下网易云信全新的音视频架构在理论的元宇宙业务场景中的实战。
面对顽劣的作业环境，挖掘机驾驶员不必再深刻现场，不仅从肯定水平上升高了劳动强度，同时也从根本上杜绝了人身伤亡的安全隐患。这里次要利用到咱们的音视频能力就包含：超低延时管制信令，实时音视频，VR 数据云渲染等等。
AI 虚构客服
第 2 个示例是 AI 虚构客服，通过外呼零碎实现主动外呼，线路采纳 VoLTE 线路（客户不须要装置 APP，间接手机端进行接听），用户抉择视频接听后，建设音视频房间，通过 AI 虚拟人实现对应业务，同时实现与机器人的互动交互。
瑶台沉迷式展会零碎
最初一个示例是咱们的沉迷式展会零碎，这是一个比拟综合的利用案例，交融和应用了包含：RTC、超低延时数据传输、虚拟人、空间音效等等简直所有的音视频能力。
将来的瞻望
随着元宇宙业务场景的继续倒退，元宇宙中的音视频利用场景也会越来越多。咱们会一直地深刻摸索音视频在元宇宙中的利用，继续打磨和优化沉迷式的音视频交互体验，把摸索教训、技术劣势、翻新模式等，与实在用户需要、产业需要深度联合，让元宇宙真正从概念走向利用，切实为社会发明价值。
