作者： 平台研发部，智能服务与产品部
间隔加文·伍德提出 web3.0 曾经过来 8 年工夫，这 8 年加文·伍德创立的以太坊大放异彩，同时由 web3.0 引出的数字人、元宇宙也生根发芽，茁壮成长，带来了不凡的用户体验。
在互联网产业都在寻求打造元宇宙新生态系统的背景下，数字人负责着信息制作、传递的责任，是连贯虚实世界、增进用户体验必不可少的一部分，是元宇宙“人 - 物 - 场”链接的新介质。京东金融 APP 为了给用户提供更好的用户体验，在产品、价格、服务三个纬度上，一直追寻最佳的业务表白和信息传递形式，在数字人利用方面大胆尝试并获得了初步的成绩。
一、用户体验需要——从传统的图文展现、高低滑动到个性化交互
截至 2021 年我国互联网渗透率已达 73%，在互联网人数增长和人均上网时长增长上已趋于稳定。通过对 Z 世代用户体验需要进行调研和剖析，Z 世代用户有本人的文化圈层、圈层语言、特色爱好，他们的行为喜好有着显明的特色，他们不再局限于视角、听觉的网络流传互动，而是谋求更近一步的产品体验，他们有着对体验降级的需要，行业内急需一个新的突破点来满足其需要。
诺贝尔物理学奖获得者乔治·斯穆特曾说过：“虚拟现实的将来不在于构建魔术般的幻境，而是为现实生活带来踊跃扭转。”互联网时代的交互体验次要是 2D 信息的表白，而在最近十年咱们正领有了创立 3D 世界的技术，将来当咱们能够在虚拟世界中无比实在地感觉到空间和工夫，咱们无望靠近 4D 的阶段，即虚构与事实共生，而咱们认为这有可能是交互体验最终的阶段。
作为国内金融科技行业的 TOP 利用，京东金融 APP 必须要满足将来用户的偏好，尝试满足 Z 世代的产品状态，是咱们用户体验晋升的一部分。在对互联网行业和团体内的技术能力进行洞察后，咱们在多个技术方向上进行了大胆的尝试，其中数字人就是其中高价值的一环。数字人等相干技术将帮忙咱们构建平行的社会，突破曾经继续已久的人机交互体验瓶颈，由人机交互过渡到人人交互。要具备实在意义的社交体验就须要有感情连贯，要让人有归属感能力撑持其根底的社会宇宙社交形式，不能只是传统的文字、语音、视频的模式，更多的是个性化交互的需要降级。
二、放弃技术前瞻性 - 洞察行业和政策发展趋势
纵观各行业发展史，每个阶段的冲破都是在数量积攒到肯定的极限后引起量变的。互联网交互状态演进也遵循这样的倒退法则，由 web1.0 到 web3.0 每个阶段都是一个由量到质的冲破。
动态互联网时代的交互体验，在 Web1.0 时代，也就是 PC 互联网时代，是一个群雄并起，逐鹿网络的时代。用户利用 web 浏览器通过门户网站，单向获取内容，次要进行浏览、搜寻等操作。用户只是被动承受内容，单纯的人机通信，没有互动体验；挪动互联网时代的交互体验，在 Web2.0 时代，用户不再只是内容接管方，能够在线浏览、点评、制作内容，成为内容的提供方，还能够与其余用户进行交换沟通，提供服务的网络平台成为核心和主导，汇集起海量网络数据；大互联时代的交互体验，在 Web3.0 时代，典型特点是多对多交互，不仅包含人与人，还包含人机交互以及多个终端的交互，一开始仅仅是大互联时代的初期，真正的 Web3.0 时代肯定是基于物联网、大数据和云计算的智能生存时代，实现了“每个个体、时刻联网、各取所需、实时互动”的状态，也是一个“以人为本”的互联网思维指引下的新商业文化时代。
Web3.0 是一场体验改革，也让互联网更加智能化、人性化。通过 3D 图形、AR/VR/XR、可穿戴设施、人机接口等技术的利用，为用户带来前所未有的交互感、参与感。它让“元宇宙”从概念逐步走向事实，基于上述技术，再叠加边缘计算、5G、云计算、AI 等新一代信息技术，让打造“全息互联网”成为可能，虚拟世界与事实世界的间隔被拉近、边界变得含糊，集体体验也从感知实体世界向虚拟世界延展。在元宇宙的通用架构图中也能够看到，虚构形象（数字人）是元宇宙的技术外围。
元宇宙通用架构图
在宏观政策方面，国家大力支持数字经济，近一年北京元宇宙商标注册量位列第一，其次是广州、深圳、上海；另外，11 月 1 日五部委联结公布《虚拟现实与行业利用交融倒退行动计划（2022-2026）》。同时，纵观互联网和金融行业现状，腾讯公布 QQ 小窝、字节公布抖音小窝、阿里公布数字人生和将来城等元宇宙场景、京东百货的 3D 虚构广告、金融畛域摩根大通 / 证券银行也不同水平公布了虚构金融服务。
三、新交互技术落地摸索 - 金融 APP 营销场“虚构数字人”赋能世界杯主题营销
在金融科技领域，咱们须要积极探索新的用户交互和新的用户体验。通过 ” 金融元宇宙 ” 进一步冲破传统金融 ” 时 ” 和 ” 空 ” 的场景解放，使客户取得科技感、沉迷感、弥补感的体验同时，在金融拓客、触点营销等业务模块，通过技术创新开掘新机遇、新竞争力，开拓业务增长新赛道。本次借助世界杯这一热点话题，通过数字人这一连贯虚构与事实的虫洞技术打造了全新的营销流动体验。
1、京东金融虚构数字人
1.1、虚构数字人（数字人、虚拟人、虚构形象）是指具备数字化形状的虚构人物，与具备实体的机器人不同，虚构数字人依赖显示设施存在。虚构数字人具备多重人类特色：形象外貌特色，表达能力，感知交互能力。京东言犀数字人进行了 NLP、ASR、TTS、CG 等多学科的深度交融，是多模态 AIGC 及人机交互技术的结晶。
1.2、惟妙惟肖之身——多模态智能技术。她能够在视觉上带来前所未有的新体验，通过语音、文字、表情、手势、肢体等多模态，可能一体化协同，这样能让数字人的拟真度更高，防止一些显著的违和感。面容上在 2D 真人数字人方面，采纳 GAN 深度学习算法，自研 3DNeuralRender 神经渲染器，实现端到端的高保真面部合成，唇形与 TTS 完满匹配与音色无关，以流式形式实现多路实时合成与用户进行交互，训练数据压缩到 6 分钟内，能够进行大规模工业化生产。在肢体动作研发了联合 RIFE 和 Retiming 的多帧多插入点的动作生成过渡计划，实现 2D 数字人动作的疾速晦涩过渡。在 3D 写实 / 卡通数字人方面，自研 STA 唇形实时驱动技术，精密驱动唇形动作和面部表情，生成真切的 3D 数字人动画和实时交互。动作上，言犀研发的动作合成计划，基于 RIFE 插帧多插入点的疾速动作过渡，能够让数字人的动作更加晦涩天然；互动中，2D 及超写实、高精度 3D 数字人驱动计划，能够实现音唇精准同步，数字人谈话时，牙齿甚至牙缝都要精准地对齐口型，这样才不会看着顺当。能够说，惟妙惟肖的数字人须要多模态的综合性技术能力。
1.3、善解人意之心——实时人机交互技术。数字人也不能只是“花瓶”，还要可能与用户实时互动，做出合乎逻辑的反馈，这种数字人则更加稀少了，因为难度也高了一个数量级。首先，实时交互须要疾速的动作、表情渲染，对 AI 生成的速度和品质要求十分高；其次，实时互动意味着很多反馈不能当时生成，而要真正了解用户的想法和需要，给出精准的答复，这就要求数字人具备丰盛且细粒度的常识冲破、自然语言了解、情感计算等能力。比方在数字人直播场景，用户想理解 A 商品和 B 商品的异同，须要数字人主播精准地抓住顾客心理、比对信息、找到卖点，生成有吸引力的文案。为此，基于京东云言犀人工智能利用平台，在智能多模态对话与交互畛域提出了了解准确度、常识覆盖度、交互晦涩度、情感关心度、工作完成度 5 维为规范的“新图灵测试”体系，作为人机交互服务机器人的规范，也是数字人的外围能力。
2、用数字人晋升交互体验，与用户建设情感链接
作为负责金融 APP 的用户产品研发团队，咱们是最贴近用户、理解用户的，领有最丰盛的业务场景。针对以往咱们负责的营销场域营销流动来看，每次扭转的都是流动的玩法，以及页面整体 UI 的扭转，长期以往来看，用户对这类型的营销流动曾经产生了疲劳感，并不会因为玩法的扭转给用户带来整个流动上交互体验的晋升，所以咱们须要去寻找新的交互方式来晋升用户的粘性以及体验。
起初咱们确定了 3 大业务场景，打算通过数字人来晋升交互体验，和用户建设更多的情感链接。别离为规定剧本介绍、情景关心、业务增量场景。营销流动的规定包含玩法介绍、处分支付和应用等方面的规定介绍，通常较为简单，本次又联合了世界杯的赛制，所以导致规定介绍内容较多。鉴于用户通常不会急躁去读所有的流动规定，也思考到繁冗的文字内容无奈让用户高效的了解，因而通过数字人用语音解说的模式讲述流动规定，能够让用户更加直观理解流动内容；同时通过场景的互动模式，疏导用户抉择球队，用户球队淘汰之后，通过一些激励的话语激励、刺激用户，通过与数字人的互动，减少沉迷式的陪伴、关心并和煦用户，从而进步页面留存，进步用户停留时长及参与率。
最终咱们联合用户、产品、业务多个视角，综合评估最终的出现成果及研发老本，决定以从未抉择球队、抉择球队被淘汰、开奖后果三个场景退出数字人交互，来贯通整个世界杯营销流动，既笼罩了外围场景，又防止适度关心造成对用户打搅。同时咱们的数字人选用了贴近“足球宝贝”的卡通形象，动作设计方面也诠释了“青春活泼可爱”的设定，并且让数字人常驻在流动页面，减少世界杯的气氛感，以及对用户的陪伴。
3、流动玩法以及场景介绍
本次营销流动的次要玩法是用户进入页面后会取得一次收费的摇号机会，通过摇号玩法能够取得一个“抽奖码”，每天每个用户最多能够取得 5 个“抽奖码”，每天只有一次收费摇号的机会，其余 4 次机会是用户通过实现某项工作来取得的。咱们引入了世界杯热点话题，通过猜球输赢的模式来给本人的号码池做一个翻倍的玩法。在猜对的同时除了能取得咱们本人的号码池翻倍处分外，还会取得额定的积分或者京豆的处分。通过曾经取得的积分能够在咱们营销流动的其余楼层进行一些权利的兑换和取得。上面是咱们整体零碎架构图以及重点玩法流程图。
零碎架构图
业务玩法流程图
咱们置信营销流动 + 热点 + 数字人的组合形式肯定会给用户带来一场不一样的交互体验，上面咱们次要通过三个不同的场景来介绍一下如何与数字人通信以及不同场景下数字人展示模式。
流动与数字人通信流程
被动唤起
1）当用户进入流动页面，并且未抉择球队时，会被动唤起数字人揭示用户进行对反对球队的抉择。
2）当你抉择的球队被淘汰时，用户再次进入页面，也会被动唤起数字人，疏导用户进行球队的重选。
被动唤起
1）咱们在流动页面会常驻一个数字人的入口，当用户点击入口时会进入数字人交互界面。这时如果您抉择的球队较量未开始或者输赢未分的状况下，数字人会有一些预设的交互动作以及相应的语音播报。然而当您抉择的球队曾经胜利，那数字人就会做出相应的胜利逻辑。
不同场景下数字人
4、带来的预期成果
通过数字人与这次营销流动的联合，咱们发现数字人的引入不仅给用户带来了全新的体验，同时通过数字人技术疏导用户抉择球队相比传统疏导形式的参加用户数晋升了 30%。
四、将来瞻望
随着互联网倒退和科技进步，交互方式迎来了新的纪元。web3.0 的时代带来了交互体验的量变，扭转了交互对象和交互能力，传统交互方式造成了人与真实世界的决裂，然而将来的交互方式，将会是能实现人、事实，虚构之间的交互交融。将来，咱们会持续在虚构形象、虚构场景、虚构服务相干的技术上持续发力，在虚构数字人、web3D、AI 等相干寻找新的落地场景，跟随着元宇宙体验从数字孪生、数字原生最初达到超现实的改革，做好金融业务的场景摸索。
元宇宙倒退过程
咱们深信人与世界、人与传感器会代替传统的交互方式，同时 AR，VR，XR 更会给人们的生存带来近一步的用户体验。随着 5G 甚至 6G 等技术的倒退，晋升了信息传递的速度，让信息传输变得无感知，通过以上的产物，在将来会彻底改变人类的生存、学习和娱乐的形式。
数字人的落地是咱们在元宇宙方面的一次功能性尝试，当初的元宇宙生态尚未成熟，然而每一个技术点的冲破和落地，都在实现京东金融的元宇宙拼图。咱们也会在更多业务场景中，通过翻新和新技术的使用，继续为用户带来新的交互体验，用科技服务用户。