关于人工智能:网易云信发布虚拟形象实时互动融合-SDK-元宇宙大幕即将开启

60次阅读

共计 3479 个字符,预计需要花费 9 分钟才能阅读完成。

元宇宙,火得猝不及防。

短短几个月工夫,Minecraft、Roblox 进入了更多人的视线,GREE、英伟达、微软等陆续公布相干产品解决方案,韩国、日本还从国家层面发表鼎力布局元宇宙赛道。《头等玩家》描述的情景仿佛今天就能成为事实。


(起源:清华大学新媒体钻研核心 -《2020-2021 元宇宙倒退钻研报告》)

彭博行业钻研报告预计元宇宙将在 2024 年达到 8000 亿美元市场规模,普华永道预计元宇宙市场规模在 2030 年将达到 1.5 万亿美元。市场潜力有限。

到底什么是元宇宙?简略来说,元宇宙能够了解为平行于事实世界始终在线的虚拟世界。在这个世界中,除了吃饭、睡觉须要在事实中实现,其余包含工作、社交、娱乐等都能够在虚拟世界中实现。

神秘、未知,已经只可能呈现在梦中的幻境或者在不久的未来就能实现,想想就兴奋不已。

然而一个不得不抵赖的事实是:高拟真度的虚拟世界还没有建成,人们在虚拟世界的形象还没有立起来,终端还撑持不起那样的数据计算量,交互体验还不够好……一系列问题等着被攻克,元宇宙的大门还没有关上。

元宇宙两大核心技术:虚拟人和实时互动

正如前文所述,互联网的终极目标——元宇宙,能够突破人类社会活动的空间与工夫的界线。在一个发明的虚拟空间里,来自世界各地的人们进行着实在的社会活动,社交、商业、娱乐 … 而其中“虚拟人”和“实时互动”能力是必不可少的两大核心技术。

虚拟人代表了个体可辨识度的形象和身份,实时互动能力能够实现沉迷式实在的社交活动,最终含糊虚构和事实的边界。

元宇宙中虚拟人是指具备数字化形状的虚构人物,与具备实体的机器人不同,虚拟人依赖显示设施存在。一般来说,咱们将虚拟人分为两类:一类是真人可驱动的虚拟人,另一类是具备人工智能的 AI 智能虚拟人。

元宇宙是另一个实在的人类社会活动的有限广大空间,所以技术上实现真人可驱动的虚拟人是迈入“新世界”的第一步,当然如《失控玩家》里具备自我意识的 NPC 虚构人物如果也能在元宇宙中实现,更是让人有限遥想。

(电影《失控玩家》)

因而元宇宙的虚拟人应具备以下三方面特色:

一是虚拟人外在形象,领有人的外观或者卡通等乏味活泼的外貌,具备特定的面貌、性别和性情等人物特色;
二是虚拟人表达能力,领有人的行为,具备用语言、面部表情和肢体动作表白的能力;
三是虚拟人感知互动能力,领有人的思维,具备辨认外界环境、并能与人交换互动的能力。

外在、表白、感知,这些咱们简直每个事实人类都领有的能力,对技术和设施的要求其实很高。

首先,爱美之心人皆有之,现实生活中的我离“盛世美颜”还有那么一小段距离,兴许在新的世界里,我能够领有“人生如果再来一次”的机会,倾国倾城走向人生巅峰。然而创立一个“美而好”虚构形象,并不是一件容易的事件。AI 和图像的技术门槛很高,例如 3D 建模,高算力和渲染对设施性能要求等都是是一个业界难题。

其次,领有了“沉鱼落雁、闭月羞花、倾国倾城”的盛世美颜后,光是一个动态形象,没有表情、没有肢体表白,元宇宙的世界霎时变成“酒囊饭袋”的世界。这里波及到语音交互(TTS、ASR、NLP 等)、动画合成(驱动、渲染)等 AI 相干技术,对技术要求的门槛可想而知。

最初,元宇宙映射的是实在人类世界,那么人类社会活动的根本元素“互动”是构建元宇宙的最要害一环,为了还原实在线下的无违和感的互动体验,须要低延时、高质量的实时通信服务保障,然而以后复杂多变的公网环境、终端设备等因素对通信传输是一大挑战。

为了可能在“新世界”里“自在飞翔”,虚构形象要“美妙”,表白要“分明”,沟通互动要“顺畅”……须要解决很多问题,然而目前互联网宽广用户还是以挪动端手机为主,机型品种等也简单多样。因而,不须要外戴设施,又能解决实现虚拟人互动所需弱小算力引起的性能问题,同时在简单网络环境也能保障实时互动成果的解决方案,是以后最符合理论也是最好切入“元宇宙”的不二之选。

网易云信,来了!

业界首发虚构形象实时互动交融 SDK,迈出进入元宇宙的第一步

针对以后面临的诸多难题,网易云信联结网易伏羲实验室推出业界首个「虚构形象 +RTC」交融 SDK,并且基于该交融 SDK 造成网易云信虚构形象实时互动解决方案。


(网易云信虚构形象实时互动解决方案)

该解决方案不仅能够活泼还原虚拟人形象,同时联合了网易云信 WE-CAN(Communications Acceleration Network)实时传输能力,能够实现虚拟人实时互动,帮忙企业客户 0 门槛也可实现虚构形象实时互动场景,迈出元宇宙的第一步。

具体来说,网易云信虚构形象实时互动解决方案具备六大劣势:

一、形象:高度还原,极致灵动。

网易云信虚构形象实时互动解决方案能够通过摄像头或上传的视频检测用户面部表情动作,从而驱动 3D 虚构人物做出雷同表情,包含五官表情、头部姿势、眼球静止、吐舌头等均能还原追踪。

局部传统的做法为了缩小设施性能要求,往往以就义用户体验作为代价,例如动画匹配形式:当用户进行谈话,或者动作行为后,在预设的“表情、动作数据库”进行帧动画的匹配,最初对一系列帧进行匹配播放实现虚拟人的“表白”。然而人类的行为是多样化的、随机的,不可能对所有行为进行预知预设,可想而知会呈现所谓的“面瘫”或者“僵尸”。而网易云信虚构形象实时互动解决方案采纳的是“端上实时捕获、云上实时驱动”的计划,相比动画匹配计划,更实在灵动。

二、硬件:无需穿戴设施,手机即可实现。

网易云信虚构形象实时互动解决方案反对应用一般单目摄像头进行迁徙,无需其余动捕设施,简略便捷。只需一般的挪动端设施或者 PC 端设施装置网易云信 SDK 后即可生成并驱动虚拟人,和远端真人驱动的虚拟人进行实时互动。

三、性能:端 - 云协同,千元机也可畅玩。

用户通过终端设备(挪动端或者 PC 端)进行音视频采集后,通过网易云信的 SDK 进行动作模型数据输入,连同采集到的音视频数据传输到云端进行虚构形象重建合成。

通过在云端进行动捕数据分析建模渲染,网易云信虚构形象实时互动解决方案极大的加重双端算法性能压力,升高了用户入门门槛,让更多千元机用户也能够提前体验虚构互动的乐趣,感触元宇宙福利。

四、互动:低延时、无卡顿,元宇宙中的“面对面沟通”。

作为交融通信云专家,网易云信的 RTC 能力在行业始终处于领先地位。针对元宇宙中必不可少的“实时互动”场景,网易云信 WE-CAN 寰球智能路由网络为“0 间隔”沟通保驾护航。

面对简单多样的网络环境、参差不齐的终端设备,WE-CAN 能够稳固提供寰球范畴内毫秒级延时的实时互动能力,通过智能路由网络择优抉择最佳路线,百毫秒内触达寰球数百个国家和地区,为 99.9% 的通话提供无卡顿的音视频服务。基于高牢靠低延时的网易云信 WE-CAN 寰球智能路由网络,网易云信虚构形象实时互动解决方案能够实现虚拟人实时互动,像事实世界面对面对话一样。

五、便捷:1 个 SDK 即可实现元宇宙 2 大核心技术。

面对元宇宙中虚构形象和实时互动两大难题,网易云信的一体化解决方案将虚构形象和 RTC 在技术层面深度联合封装,客户再也无需对接多个供应商,只需一个 SDK 就能够构建一个充斥遥想的高体验的虚构形象实时互动场景

 
(网易云信「虚构形象 +RTC」交融 SDK 性能框架图)

网易云信「虚构形象 +RTC」交融 SDK 承当了音视频采集 / 前解决,数据分析、编码传输、解码渲染等轻量级工作,将简单的高算力的工作转移到云端,借助交融 SDK 造成高效的端 - 云协同工作模式,提供虚构形象实时互动一体化能力。逾越浅近的技术壁垒,只需这一个 SDK。

六、场景:金融、电商等多行业实用,降本增效快人一步。

值得一提的是,网易云信虚构形象实时互动解决方案不仅可能利用于元宇宙世界或娱乐社交行业,还能够广泛应用于各行各业,帮忙企业降本增效的同时,也能晋升客户体验,从而进步用户留存率,发明营收。

1. 金融行业:虚构数字人客户服务,提供 7 x 24 小时不打烊的和煦服务


(金融行业利用示例)

2. 电商行业:虚拟人直播带货 + 客户服务,带来业务营收、客户体验双重晋升


(电商行业利用示例)

……

小 结

只管进入元宇宙须要解决这样或那样的问题,但不可否认,元宇宙场景的实现、元宇宙产业的成熟,只是工夫问题。《头等玩家》里的场景可能还得再设想几年,但虚实交融已是互联网倒退的大趋势。
始终以来,网易云信精益求精地打磨技术,站在行业前沿探寻风向,心愿可能帮忙行业客户不错失每一个机会。当初,欢送各位朋友和网易云信一起,迈出进入元宇宙的第一步。

填写网易云信虚构形象实时互动计划收费体验信息收集,立刻收费试用。

关注网易云信公众号,回复“元宇宙”即可收费试用。

正文完
 0