共计 5504 个字符,预计需要花费 14 分钟才能阅读完成。
随着不久前汽车之家新批发我的项目震撼公布,咱们直击用户看车选车痛点首次提出 ABC 新体验模式,以元宇宙科技打造沉迷式交互服务,凋谢元宇宙能源空间站体验店,为用户打造更“有用”的体验。
A:是指一站式选车试车服务(All in one),用户通过全息比照看车以及实车对比试驾,让产品比照体验更直观省时;
B:是指专享时空主观评估(Belong to customers),意在给用户提供专属服务空间免打搅,同时能够看到汽车之家编辑业余、主观、公正的车辆评估,实现更省心的体验;
C:是指汽车之家能源空间站沉迷式元宇宙体验(Creative technology),通过全息技术,实现 1:1 看车、拆车、同框比照看车等性能,为用户带来深度产品解析及更实在的科技体验。
同时,依靠汽车之家理论测试数据打造“最实在的虚构用车体验”让用户更省力地体验车辆减速、转弯、刹车、碰撞等用车场景。
图:上海能源空间站
一、从业务诉求登程看问题
汽车之家作为集“内容生态 + 工具服务 + 交易平台”于一体的一站式汽车生存服务提供商,为帮忙用户更好的看车、买车、用车和换车决策,也始终在思考如何突破线上和线下的次元壁,思考如何把线下的用户和主机厂经销商连接起来,帮忙用户更好的做看车、选车和买车决策。这就要求汽车之家须要有一个弱小的线下看车、买车和购车的全流程平台能力。
咱们首先思考的是如何能让用户在一个场地空间中能够深度体验和连贯多款车,升高用户在物理空间中来回奔走 4S 店的苦楚,同时又不能是简略的页面信息检索,要给到用户靠近真车的看车体验,还要能给到用户连真车都给不到的体验,如车体爆炸拆解改装,甚至是脑洞大开的破次元壁娱乐体验,如新能源汽车常识科普,所以业务的要求相当刻薄,要求:多款车、单个空间、实在、主观、超过设想等等。
二、从问题登程找技术计划
2.1 计划抉择
联合上述这些业务的外围述求,咱们调研了目前国内外一些汽车 3D 虚拟化出现技术,最终综合硬件实现计划成熟度和成果要求,抉择了应用全息膜 +Unity3D 引擎技术来给用户出现一种沉迷式的裸眼 3D 看车体验。
2.2 全息技术抉择
第一类是广义全息技术,比方典型的全息照相技术,是利用光的干预原理把每个点的光线的方向和强度数据转换为能够通过显影记录的干预条纹,在镜片载体外表对光敏介质进行曝光解决,取得记录了光线全副信息的全息光栅,广义全息技术并不常见,它起于全息照相技术,利用于全息光栅光波导技术中,全息照相试验的过程十分复杂,很难为一般消费者所用,目前国内外生产级的侠义全息产品还没有。
一类是借助近眼显示设施和 3D 实时渲染技术出现的“感知全息”,比方 Oculus 和 Hololens,这种目前国内外都有不错的生产级产品落地。
还有一类就是咱们说的类全息立体投影,通过借助半透半反的膜层把立体显示器的内容反射到观察者眼中,营造出立体感。益处是对用户设施没有要求,比拟适宜展厅类成果出现。
图:全息膜原理展现 -1
图:全息膜原理展现 -2
咱们最终抉择了类全息立体投影的技术计划,是目前国内做大型展览馆上演类流动比拟罕用的技术计划,在绝对固定的空间中能给到用户靠近实在的裸眼 3D 观看体验。
2.3 3D 引擎抉择
咱们最终抉择了目前国内支流的 Unity3D 引擎来实现,Unity 引擎针对 PC 端的 HDRP 高清渲染管线反对正向和提早渲染,并且应用基于物理的光照和材质。它将图形推送到高端硬件(像 PC、XBox 和 Playstation)以打造震撼的高清视觉效果的现实抉择。其面向高逼真度的游戏、图形 demo 和修建渲染、超写实成果,以及所需的最佳图形成果。同时针对高端图形处理时,它要比内置渲染器要快得多。
咱们在设计初期就思考到了一套代码既反对 HDRP 管线也能够复用到 URP 管线,不便把咱们的能力疾速降级迁徙到挪动端设施中,包含手机、AR 眼镜和 VR 眼镜中,同时咱们借助动捕设施的辅助,能够轻松驱动挪动端 3D 数字人,目前国内 Unity 技术社区成熟,有很多实用且通过验证的前人的成绩能够间接借鉴应用。
2.4 技术难点
咱们的最终出现要依赖物理空间中全套软硬件设施都能齐全协调一致能力实现,对硬件设施、3D 程序、中控指令台、灯光管制等整体架构计划都存在很高的要求,要能保障用户在沉迷式的体验全息车辆的过程中不能有太多的技术烦扰因素让用户感觉假。同时整个能源空间站全息舱必须要思考能反对大规模商用和疾速可复制的要求,这就对软硬件的规范和技术实现的要求都十分高。
同时全息舱还须要作为一个沉迷式虚构体验技术平台把能力对外输入到其余业务线,比方公司直播平台和网上车展联动等场景,促成公司外部技术的横向赋能。
2.5 全息舱架构
针对上诉这些技术难点,咱们在技术落地的后期就必须思考周全,咱们的总体思路总结起来就是九个字:标准化、高效率、真体验。所以架构设计上咱们会收拢技术标准,包含内部渠道接入全息舱的规范,全息体验评估规范,3D 虚拟人和 3D 车辆模型规范等。
咱们的架构设计也会极度器重研发上线交付效率,冀望接入新车的工夫老本降到最低。同时所有的规范和高效都建设在体验实在的根底上,这就要求咱们从多个方面去一直降级咱们的全息体验,以保障用户时刻都能感触到 ” 真 ”。
图:整体架构
2.6 对立标准化
咱们整体设计了一套软硬件一体的架构部署计划,并打磨出一套最好的 3D 视觉出现标准,包含用户间隔全息膜的物理空间间隔、屏幕清晰度、灯光亮度、音响盘绕音和背景视频抉择等等一系列的指标,所有这些都造成一整套的 SOP 标准,能力最终给用户营造出现呈现在的全息沉迷式观看成果。当所有都依照咱们的规范来规范化建设的时候,大规模的商用才有可能实现。
对于硬件设施统一标准。所有全息舱内的硬件设施都必须统一标准,包含 GPU 游戏机主机配置、显示设施清晰度和尺寸、投影设备型号、全息膜厂商规格、灯光设备以及所有这些设施的中控指令 API 标准等等,通过 8 个月的继续打磨和摸索,来回和硬件供应商的沟通和撕扯,最终为来能达到全息舱的实在震撼的用户体验,咱们输入了业内最严格的全套硬件设施接入标准规范,为后续能源空间站的大规模商用推广做好了硬件筹备。
对于 3D 模型素材高标准。通过 20+ 次的迭代打磨,咱们才最终把全息舱内 3D 汽车模型标准规范对立起来,以最高规格的模型规范来管控从模型制作、美术验收到程序验收的所有环节,均匀每个 3D 汽车模型都领有超过 4000 万个三角面,模型包体超过 1.5G 的大小,为最终全息舱内能给用户带来极致震撼的体验成果打好了根底。模型标准规范反对在 4K、8K 屏幕上显示媲美实车的高精度外观内饰模型,同时还满足挪动端通用模型十倍的面数以达到更高的精度。对内饰皮革、木纹、塑料、屏幕等展现精度要求媲美实车。对车辆外观材质要求 1:1 真车实图比照,灯光效果要求更实在的气氛灯、体积光、光晕、流水灯、灯舞、等灯光效果。从模型标准层面就能撑持起 80% 的车辆全息体验成果保障。
对于全息体验标准化。为了保障整体全息舱体验的对立,为大规模开舱可复制做好筹备,咱们对全息舱内软硬件环节都做了标准化取舍,如灯光在不同体验场景下的亮度、音响在不同场景下的音量大小、3D 车模型在不同场景间的过场连接成果等,全副的体验细节咱们都做了对立解决。
对于内部信号接入标准化。全息舱作为一个平台,会有很多的内部单干业务想要接入进来,和全息舱内的车辆和素材进行实时互动,思考到技术实现的统一性和体验稳定性,咱们在接入标准层面就要求内部业务想要接入全息舱需全副应用高清 4K 视频流信号的模式接入进来,为此咱们研发了一套通用的多路视频信号采集和编解码零碎,专门用于在全息主机中前置解决内部接入的视频信号,保障全息舱内体验到的内部素材的信号稳定性和清晰度。
2.7 高效率架构
整体的架构设计上,是咱们通过靠近 8 个月的工夫逐渐摸索出的一套合乎业务需要同时也能极大晋升研发效率的技术架构计划,外围蕴含三个方面:指令分层设计、齐全数据驱动设计和视频流 I/O 设计。
针对模块指令层设计,咱们模拟网络通信协定设计,把指令编码层、通信层和 UI 展现层拆散。从代码实现层面分层隔离,能够独自对各层进行优化,同时中控和指令间建设长连贯,保障传输效率的高效,同时借助 WebSocket 协定的全双工通信机制能够无效的控制指令的执行状态和进度,用户能够随时中断执行中的指令,让用户真正的能够通过中控指令管制全息舱内的画面出现内容。
图:指令通信层设计
图:基础架构分层
为了达到极致的研发交付效率,咱们冀望齐全通过后盾数据驱动的形式来低代码配置化交付,为此咱们从新设计了 U3D 的代码架构,把全息舱拆解成 9 大模块 30+ 个指令性能。
咱们把讲车模块拆分成多个指令,在模块层面具备进入和退出的独立逻辑,在指令层面有独自的生命周期管制,形象出:Module->Command->Action 三层数据架构,通过分层隔离,咱们能够间接通过数据组装的形式拼接出一个残缺的指令,所有指令都依照一个通用的工夫线逻辑执行,用户可借助长连贯通信和指令生命周期状态实时控制全息内容的展现成果和阶段。
图:讲车模块架构
针对单个指令,为了不便数据配置,咱们独自上线了指令可视化编辑器,外围思路是模仿视频剪辑软件的设计思路,冀望能在编辑器中通过简略的托拉拽的形式 ” 剪辑 ” 出一个性能齐备的全息舱指令,可视化编辑器搭配后盾数据配置性能,咱们就具备了极高效的性能生成效率,从而能够保障单车交付效率。
图:Command 指令架构
通过指令模块拆分隔离、正当的数据结构设计,可视化指令编辑器、性能齐全数据配置驱动等这一系列的优化设计,最终达成的成果是:全息单车交付效率从 12 天一辆车缩短为当初的 3 天一辆车。
图:指令可视化编辑器
咱们构想把全息舱当成一个平台,从业务布局判断,这个平台须要同时具备两个特色:不便内部业务接入进来、不便接入到内部业务中。次要是应答这两个业务场景:
- 入舱接入:反对内部业务和性能接入到全息舱中,比方虚构数字人、实时采访信号、直播画面信号、内部画中画等场景,针对此类需要,咱们依据下面标准化设计的视频采集接入流程,通过 HDMI 物理线路和实时视频流 URL 的形式采集接入,通过咱们专门研发的视频转码合成程序合成后作为一路视频信号输入到全息大屏上。
- 出舱输入:能够输入到直播平台,通过直播平台推流到 CDN 节点,用户实时拉取直播信号数据,咱们能够做到 5 秒左右的直播提早。
图:视频流 I/O 架构
图:全息指令系统架构
2.8 虚构数字人
为了在全息舱内把人车互动做到极致,咱们联结给周杰伦演唱会中打造邓丽君真人形象的团队一起破费 5 个月的工夫打造出汽车之家形象大使谷爱凌的 3D 数字人形象,并通过算法声纹采集和大量的汽车知识库大数据样本的机器学习训练,最终打磨进去一个乏味、真切又有料的谷爱凌 ” 数字真人 ”, 咱们在全息舱中能够零距离和谷爱凌进行各种乏味的互动。
数字人这块,咱们还在布局更多黑科技性能落地,比方智能表情和肢体驱动和管制、实时语音交付等,咱们的终极目标是让数字人从外观形体到智能化水平都更像真人,给用户真切且情感丰盛的回馈。
三、业务亮点
3.1 3D 全息真体验 + 真数据
图:3D 汽车模型极致真切还原
在酷炫全息 3D 车辆展现成果根底上,咱们还依靠汽车之家对所领有的海量垂直汽车行业用户数据的深度开掘和学习,使得咱们比用户本人更懂用户诉求,叠加汽车之家业余编辑和大 V 继续输入的业余评测数据,咱们能够对每辆车都输入残缺的中立主观的评测数据,给用户最实在的购车决策倡议,做到使用户看到真车更看到真观点。
3.2 网红大咖全息互动直播
为了让更多的用户能不必亲临能源空间站现场就能够体验咱们的酷炫全息讲车,同时也为扩充新批发能源空间站的网络声量,吸引更多到店试驾用户流量,咱们打磨了一套全新的直播技术体系 – 全息互动直播,咱们把全息舱车辆叠加 3D 平面背景和多路真人主播视频信号混流成一个残缺的全息沉迷式直播信号流,营造出一种人、车、场齐全交融的极致真切成果,使得咱们能够在一场直播中任意切换多个环境和多款车进行具体车辆解说,给用户带来前所未有的直播体验。
咱们第一次全息互动直播就取得了靠近 4 万用户的观看量,用户评论互动都十分踊跃,后续咱们还会继续对全息直播体验进行深度优化和降级,冀望给用户给行业都带来齐全不一样的全新直播体验。
图:全息多路混流直播
3.3 全息互动幻想剧场
借助能源空间站全息技术除了能够以裸眼 3D 的形式酣畅淋漓的展示车辆细节,还能够以剧场的模式展示更多乏味有料的素材内容,比方能源科普视频节目、文化艺术遍及推广节目以及数字人互动娱乐等等丰盛乏味的节目模式,让用户体验到比电影院更加平面真切的视觉效果。
同时咱们还通过交融 MR 互动技术和全息舱 3D 空间研发了更多的能让用户直接参与互动的乏味性能,包含真人与车合影互动、真人与谷爱凌数字人互动合影,以及真人语音和数字人对话等场景。
图:虚构数字人和真人合影 (商业权利所限数字人形象脸部已做虚化解决)
四、写在最初
大家能够去到上海能源空间站实地体验咱们用 3D 元宇宙技术打造的全息舱,当初看到的成果还只是刚开始,咱们的研发团队始终都在加班加点对产品性能和体验继续优化和降级,以两周一个迭代的版本速度推动,同时咱们还布局了更多的乏味好玩的性能期待大家的察觉。
全息舱是咱们主机厂产研团队历经 10 个月的工夫从无到有一步步打磨出的一个全新的产品,咱们冀望能借助咱们的技术真正的给业务方和客户方赋能,助力汽车之家迈向新的征程。
本文参考资料:
[1] A Large Scale Interactive Holographic Display
[2] 全息投影技术在展现设计中的利用钻研
[3] 当咱们议论全息技术时,咱们在议论什么