关于java:华为开发者大会主题演讲3D建模服务让内容高效生产

内容起源:华为开发者大会2021 HMS Core 6 Graphics技术论坛,主题演讲《3D建模服务使能3D内容高效生产》。

演讲嘉宾:华为消费者云服务 AI算法专家

3D建模服务(3D Modeling Kit)是华为往年7月初刚公布的新Kit,咱们对3D建模产品的定位就是要做疾速、简洁、低成本的3D制作能力,并凋谢给有3D模型、动画制作等能力诉求的开发者。

针对3D建模服务,咱们曾经凋谢了物体建模的能力,还有立体的材质生成和动作捕获能力,接下来咱们还会对人体的建模以及面部捕获做进一步的能力凋谢。3D建模的利用场景也比拟多,能够利用于电商模型、3D打印、教学模型、游戏开发和动画制作。

3D物体建模能力

3D物体建模能力介绍

首先看一下3D物体建模的能力,不同于传统的建模师用3D软件制作模型的形式,或是通过扫描仪进行建模的形式,咱们的定位是要做挪动端疾速的、低成本UDC的生产,不须要图片的深度信息,只需一般RGB相机,通过拍摄物体不同角度的多张图像,上传到云端,即可实现物体3D几何模型和纹理的自动化生成。

硬件要求上,以后咱们反对安卓和iOS,接下来可能会凋谢WEB APR,这样就会造成全终端的反对状态。

对于反对的类别,因为这是通过拍照摄影的办法,所以就要求这个物体的纹理须要尽量丰盛、不反光、尺寸中等、刚体,典型物体包含:商品类的毛绒玩具、包、鞋子等, 家具类的比方沙发、抱枕,文物类能够是青铜器、石器、木器等。

反对物体尺寸大略是在10立方厘米和2立方米之间,当然物理尺寸更大也是能建模的,只是建模的工夫会更长一点。如果建模的图片在1080P的分辨率,整个建模时长大略在5分钟以内,最初输入的格局也是规范的3D模型的格局,包含obj和gltf的格局。最初比拟重要的一点,就是撑持这个能力的SDK包只有83K的大小,对APP是十分敌对的。

3D物体建模采集办法倡议

如果想建一个比拟残缺的模型,对采集条件还是有肯定要求的。

第一,环境。倡议将繁多的采集物体静置于纯色的立体上。

第二,光照。光照需柔和,防止灯光过暗,或某一面有强烈的暗影。

第三,拍摄。要对焦,笼罩平均而足够的多视角,含仰望、平视、仰视角度共20张以上(倡议50张以上),相机挪动尽可能迟缓。

第四,采集过程中,相邻照片至多有70%-80%的重叠,展现尽量大且残缺,要求尽量保障拍摄无虚焦、静止含糊、抖动含糊。

最初一点,物体的底部能够通过翻转续拍去建设,实现物体残缺模型的出现。

利用场景

对于物体建模,比拟典型就是电商的场景。下图是咱们做的对于鞋子的建模和文物的建模,咱们买了一个小型的转盘,放了一个小型的灯箱,而后依照以上形式就能够实现建模。相较2D的商品展现,3D的展现能够给用户带来更好的体验,在电商行业,3D商品展现能够提供差异化体验,通过“看、试、穿、戴”等模仿形式晋升用户转化,在文博行业,文物经三维数字化建模后,可利用于文物数字保留及多媒体展现。

立体材质的生成

三维材质定义

第二个能力是立体材质的生成。图形学中的表观(Appearance)又称材质,是形容光线如何在物体外表和外部进行交互的一种性质,由材质模型和一组控制参数来定义外表外观。从下组图能够看出,右边的图,如果不认真看,对整个场景的感触十分弱,但如果把墙面、高空、油桶、桌面,这些资料加上去当前,真实感立即显示进去了。

在材质制作过程中,开发者和用户有哪些痛点呢?

第一,从事实世界采集的纹理通常须要通过美术用业余软件解决,能力用于渲染中获得真实感成果。比方去除光照影响、调整凸凹、尺度等解决,过程耗时、费劲且难以标准化;第二,传统纹理贴图解决成果重大依赖美术教训和特定渲染器,纹理素材在不同我的项目和渲染器间复用艰难,我的项目积攒少、制作老本居高不下。

为了解决这些痛点,咱们提供两种思路:

第一种,利用深度学习推理网络,一键生成合乎PBR规范的纹理因素,晋升纹理制作效率和品质;第二,将技术美术的教训和制作标准固化为遵循PBR规范的数据,通过数据在不同我的项目和渲染器间复用素材,传承美术制作教训

材质生成能力介绍

材质生成能力提供将RGB图像转换为PBR材质的能力,仅须要拍摄一张或多张RGB图片,便可一键生成四种材质贴图。

应用该能力只须要一般RGB手机,不要求ToF或LiDAR,反对安卓所有机型;反对的材质类型,次要包含混凝土、大理石、岩石、碎石、砖、石膏、黏土、金属、木材、树皮、皮革、织物、漆面、塑料、合成资料等材质;反对diffuse map, normal map, specular map, roughness map等贴图类型;对于输出图像的分辨率,以后曾经能反对1k~4k贴图的输入,输出图像中需无接缝、无亮斑、暗影、倒影;对于最终制作成果,通过SSIM的评估指标评估,约大于0.9,成果是十分好的。

通过上面的演示能够看出怎么实现房子的疾速创立,首先要通过材质生成能力疾速地生成材质贴图,而后把材质贴图拖到球下来,在用的时候,把材质球复制到白膜上就能够实现了,复制完当前再通过离线或者在线的渲染,就能够失去最终的实在成果,这是材质生成的能力。

动作捕获能力

最初来说咱们刚刚公布的动作捕获能力,动作捕获是通过一般单目摄像头输出间断视频帧或RGB图像,精准疾速预计24个人体骨骼关键点的三维信息。

动作捕获能力也只须要用到一般的手机,输出视频流或图像,就能够预计出人体骨骼,能够反对常见的站立、行走、奔跑等大略7到8个动作。

视频流、RGB图像的输出格局,倡议分辨率320~1080P,如果分辨率更大,可能会带来工夫减少,但成果并没有很显著的晋升,所以你能够先做一个图像的缩放,产生一个比拟好的成果。

输入的格局也比拟重要,咱们的动作捕获能力能够同时输入24个人体骨骼关键点的四元数和3D坐标,在一些引擎外面,间接能够驱动匹配。
    

对于时延,咱们的CPU大略能够达到30祯FPS,而NPU能够达到80祯FPS。

咱们提供了两种集成形式,一种是根底包的形式,如果你是华为手机,只须要集成根底包200k。在理论利用的时候能够通过下载算法包的形式,比如说在小米手机或其余的手机上,就能够集成FullSDK的模式。

下面这个集成物体建模能力的APP,叫3D Live Scanner。

在没有接入3D建模服务之前,这个APP只能依赖带深度信息的设施,导致局部用户无奈应用,并且没有独自物体建模的能力。而在集成了3D建模服务之后,不仅反对RGB的手机,还能够反对背景剔除,模型成果准确率大幅晋升。据CP反馈的数据来看,在集成这个能力当前,在欧洲这个区域,往年一个月内,它的下载量大略减少了190%,整个营收也是有很大幅的减少。并且,该APP的客户应用后反映,用华为3D建模的能力产生的建模成果,曾经超过了大家常常用的PC版业余建模能力。

以上就是我的分享,谢谢!

理解更多详情>>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee

关注咱们,第一工夫理解 HMS Core 最新技术资讯~

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据