乐趣区

关于人工智能:网易云信携手瑶台打造元宇宙商业化实践标杆案例

在软硬件技术空间倒退的背景下,人们对于互联网玩法的畅想逐渐由发明虚拟空间向事实世界与虚拟空间交融迈进。

甚至在刚刚过来的 10 月,Facebook 创始人马克·扎克伯格将“脸书”改名为“Meta”,这使得“元宇宙”在整个科技圈、投资圈内风头一时无两。

说到“元宇宙”,依照目前的倒退状态来看,它是一种事实空间复制与再造的过程,即人们在互联网上再造一个具备高沉迷感、体验感、互动感的虚拟世界,甚至人们能够基于各个互联网大厂发明的虚拟世界从新塑造本人的人生。

当然,如果说真的要实现这样的终极目标,其实还须要很长的路要走,不过新冠疫情的暴发无疑为“元宇宙”的商业化用例提供了更多的市场化需要。

比方咱们常见的会议场景,新冠疫情之前的会议多以线下会议为主,在线下时,参会者能够随时抉择与其他人进行 1 对 1、1 对多甚至多对多的实时交换,甚至在会议中能够长期预约一个“小型会议包间”结识挚友,而这样具备极强场景感的体验在传统视频会议中却无奈取得。

目前支流的传统视频会议在出现形式上较为繁多,不足空间场景,从而使得用户层在会议过程中现场感缺失,容易呈现精力疲劳、注意力不集中等问题。

专一利用体验,打造沉迷式会议“新世界”

为了解决这一难题,网易伏羲率先公布了一款沉迷式会议流动零碎——“瑶台”,以不便疫情期间人们在线上举办各类会议流动。


(“瑶台”官网登录界面)

“瑶台”自身是发明了一个全新的古风沉迷式虚构会议世界,在“瑶台”中,流动方能够依照本人理论需要在场景中设置多种格调的流动场地,高精度复刻实在的会议场景。
同时,为了加强会议的互动性和体验感,“瑶台”不仅同步实现了 PPT 嵌入式播放、文字和语音聊天、同声翻译、多个分会场自在切换等数十项会议性能,而且为了满足了会议社交需要,无需加群,虚拟人见面就能开启群聊。


(虚拟人走近,开启“群聊模式”)

思考到虚构会议世界更加贴近事实会议场景,会议主办方能够在“瑶台”中自由选择流动场地内展板数量、布局与内容;流动场地座位数量与布局;场地加载广告;大屏幕、展板宣传广告;流动场地冠名等,同时“瑶台”还反对后盾自主治理会议和会议数据分析等性能


(为 DAI 2020 量身打造服装。图片起源:网易)

值得一提的是,为了减少用户体验的真实性和参与感,参会者能够通过上传个性化照片打造专属的集体虚构形象。
依靠于网易伏羲行业独创的 AI 智能捏脸技术,平台会对肖像照片和人脸特色进行精准还原,并通过肖像网络分析人脸特色,重建人脸三维信息,联合风格化网络学习数据,生成特定格调的相貌,如发型、肤色、五官。
与此同时,虚拟人的表情、动作会实时随着实在表情、动作的扭转而扭转,让所有参会者好像置身于事实会议中,直观感触对方的喜怒哀乐。


(专属虚构形象与真人驱动虚拟人示例)

目前,“瑶台”曾经能够利用到国内学术会议、签约典礼、线上展会、招聘会、新产品发布会、品牌推介会、公司年会、颁奖仪式、圆桌会议、校园宣讲会等泛滥场景,并且最多能够同时包容 500 人同时在主会场参会。
此外,思考到参会者参加此类流动的频率,最大化晋升参会者体验,“瑶台”抉择了最简略的形式,即通过浏览器登录平台,输出参会码就能够进入会议场景,免去了下载客户端、注册账号等一系列繁琐流程。

深耕底层技术,打造“瑶台”极致互动体验

作为集网易 24 年 IM 以及音视频技术打造的交融通信云服务专家,网易云信提供交融通信与音视频的外围能力与组件。在与网易伏羲的单干中,“瑶台”就深度交融了网易云信音视频、屏幕共享等能力。

“瑶台”作为一款沉迷式会议零碎,在为用户提供高沉迷感、高互动性的会议流动体验的同时,也须要做好用户方体验的视听与流动方的分享品质。

1. 自研 AI 算法,保障用户享受高质量视听体验

网易云信自研的 AI 音视频引擎,反对单、双声道,音频采样率 16 kHz – 48 kHz,码率最高反对 128 kbps 立体声高清音质;视频通话中,反对 1080P 高清画质。同时为了防止通话中可能存在的乐音问题,网易云信通过自研的音频 3A 算法解决和 AI 音频降噪算法,帮忙用户打消通话中的回声和啸叫,并对嘈杂人声、键盘声等非稳态噪声进行定向降噪,从而保障“瑶台”用户享受污浊的通话与互动体验。


(参会者就墙板内容进行实时互动交换)

另外,网易云信音视频技术支持用户在“瑶台”中同时退出到多房间,实现同时订阅到多个会议房间的音视频流,同时也能够将本地的音频流、视频流推送到某一个会议房间中,且反对会议场景内近距离 16 人畅聊。

思考到用户分享与互动中可能存在的网络提早问题,网易云信依靠当先的精准带宽侦测、智能拥塞管制、前向纠错、编码优化等技术,实测抗丢包率达 80%,从而保障“瑶台”用户即便在简单的网络环境下仍能享受高稳固、低延时的视听体验。

2. 高可用网络,全面保障瑶台寰球互动

以后,“瑶台”在利用场景上曾经波及到多类国际性学术大会,这就须要保障在长距离、高简单网络条件下,各种数据实时传输品质。网易云信公布的首个独立于业务逻辑的传输层基座——寰球智能路由网络 WE-CAN,完满反对媒体流、IM 音讯、信令以及通用数据传输,为“瑶台”99.9% 的通话提供无卡顿音视频服务。


(WE-CAN 寰球智能路由网络分层图)

目前,WE-CAN 已在印度、中东、欧洲、北美、北非等寰球 200+ 次要地区实现节点部署。宽泛节点笼罩、欠缺经营机制、灵便调度策略以及智能路由策略,这 4 大特点赋予 WE-CAN“传送门”个别的属性,不管用户身处何处,只有数据进入零碎,就能疾速达到目的地。

3. 实时共享,打造简略易用的分享环境

网易云信通过为“瑶台”提供简略易用的 NERTC SDK,通过简略集成后,演讲嘉宾在会议中只须要将本人的屏幕内容如文件、数据、网页、PPT 等画面以屏幕共享的形式分享给参会听众,从而让其余与会者更加直观的理解探讨的内容和主题,晋升沟通效率。


(实时会议分享)

此外,思考到接入老本问题,网易云信通过 Unity SDK 封装技术,帮忙“瑶台”节俭接入老本。
随着虚拟现实技术与音视频通话技术的逐渐遍及,高需要、多场景、低门槛的利用将推动“瑶台”的减速暴发,很多“AI + 会议”的玩法翻新也在继续进化中。

下一步,“瑶台”将进一步开发如虚构社群、虚构接待、VR 虚拟现实等性能,而网易云信也将继续拓展服务边界,为会议元宇宙、游戏元宇宙、社交元宇宙、教育元宇宙等场景继续提供稳固、挪动、牢靠的交融通信云服务。

近期,网易云信联结网易伏羲实验室推出业界首个「虚构形象 +RTC」交融 SDK,并且基于该交融 SDK 造成网易云信虚构形象实时互动解决方案。该解决方案不仅能够活泼还原虚拟人形象,同时联合了网易云信 WE-CAN(Communications Acceleration Network)实时传输能力,能够实现虚拟人实时互动,帮忙企业客户 0 门槛也可实现虚构形象实时互动场景,迈出元宇宙的第一步。

填写表单,立刻收费试用 >>>

网易云信虚构形象实时互动解决方案具备六大劣势:

  1. 形象:高度还原,极致灵动。
  2. 硬件:无需穿戴设施,手机即可实现。
  3. 性能:端 - 云协同,千元机也可畅玩。
  4. 互动:低延时无卡顿,堪比“面对面沟通”。
  5. 便捷:1 个 SDK 实现 2 大核心技术。
  6. 场景:多行业利用,降本增效快人一步。

填写表单,立刻收费试用 >>>

退出移动版