内容起源：华为开发者大会 2021 HMS Core 6 Graphics 技术论坛，主题演讲《3D 建模服务使能 3D 内容高效生产》。
演讲嘉宾：华为消费者云服务 AI 算法专家
3D 建模服务（3D Modeling Kit）是华为往年 7 月初刚公布的新 Kit，咱们对 3D 建模产品的定位就是要做疾速、简洁、低成本的 3D 制作能力，并凋谢给有 3D 模型、动画制作等能力诉求的开发者。
针对 3D 建模服务，咱们曾经凋谢了物体建模的能力，还有立体的材质生成和动作捕获能力，接下来咱们还会对人体的建模以及面部捕获做进一步的能力凋谢。3D 建模的利用场景也比拟多，能够利用于电商模型、3D 打印、教学模型、游戏开发和动画制作。
3D 物体建模能力
3D 物体建模能力介绍
首先看一下 3D 物体建模的能力，不同于传统的建模师用 3D 软件制作模型的形式，或是通过扫描仪进行建模的形式，咱们的定位是要做挪动端疾速的、低成本 UDC 的生产，不须要图片的深度信息，只需一般 RGB 相机，通过拍摄物体不同角度的多张图像，上传到云端，即可实现物体 3D 几何模型和纹理的自动化生成。
硬件要求上，以后咱们反对安卓和 iOS，接下来可能会凋谢 WEB APR，这样就会造成全终端的反对状态。
对于反对的类别，因为这是通过拍照摄影的办法，所以就要求这个物体的纹理须要尽量丰盛、不反光、尺寸中等、刚体，典型物体包含：商品类的毛绒玩具、包、鞋子等，家具类的比方沙发、抱枕，文物类能够是青铜器、石器、木器等。
反对物体尺寸大略是在 10 立方厘米和 2 立方米之间，当然物理尺寸更大也是能建模的，只是建模的工夫会更长一点。如果建模的图片在 1080P 的分辨率，整个建模时长大略在 5 分钟以内，最初输入的格局也是规范的 3D 模型的格局，包含 obj 和 gltf 的格局。最初比拟重要的一点，就是撑持这个能力的 SDK 包只有 83K 的大小，对 APP 是十分敌对的。
3D 物体建模采集办法倡议
如果想建一个比拟残缺的模型，对采集条件还是有肯定要求的。
第一，环境。倡议将繁多的采集物体静置于纯色的立体上。
第二，光照。光照需柔和，防止灯光过暗，或某一面有强烈的暗影。
第三，拍摄。要对焦，笼罩平均而足够的多视角，含仰望、平视、仰视角度共 20 张以上（倡议 50 张以上），相机挪动尽可能迟缓。
第四，采集过程中，相邻照片至多有 70%-80% 的重叠，展现尽量大且残缺，要求尽量保障拍摄无虚焦、静止含糊、抖动含糊。
最初一点，物体的底部能够通过翻转续拍去建设，实现物体残缺模型的出现。
利用场景
对于物体建模，比拟典型就是电商的场景。下图是咱们做的对于鞋子的建模和文物的建模，咱们买了一个小型的转盘，放了一个小型的灯箱，而后依照以上形式就能够实现建模。相较 2D 的商品展现，3D 的展现能够给用户带来更好的体验，在电商行业，3D 商品展现能够提供差异化体验，通过“看、试、穿、戴”等模仿形式晋升用户转化，在文博行业，文物经三维数字化建模后，可利用于文物数字保留及多媒体展现。
立体材质的生成
三维材质定义
第二个能力是立体材质的生成。图形学中的表观 (Appearance) 又称材质，是形容光线如何在物体外表和外部进行交互的一种性质，由材质模型和一组控制参数来定义外表外观。从下组图能够看出，右边的图，如果不认真看，对整个场景的感触十分弱，但如果把墙面、高空、油桶、桌面，这些资料加上去当前，真实感立即显示进去了。
在材质制作过程中，开发者和用户有哪些痛点呢？
第一，从事实世界采集的纹理通常须要通过美术用业余软件解决，能力用于渲染中获得真实感成果。比方去除光照影响、调整凸凹、尺度等解决，过程耗时、费劲且难以标准化；第二，传统纹理贴图解决成果重大依赖美术教训和特定渲染器，纹理素材在不同我的项目和渲染器间复用艰难，我的项目积攒少、制作老本居高不下。
为了解决这些痛点，咱们提供两种思路：
第一种，利用深度学习推理网络，一键生成合乎 PBR 规范的纹理因素，晋升纹理制作效率和品质；第二，将技术美术的教训和制作标准固化为遵循 PBR 规范的数据，通过数据在不同我的项目和渲染器间复用素材，传承美术制作教训。
材质生成能力介绍
材质生成能力提供将 RGB 图像转换为 PBR 材质的能力，仅须要拍摄一张或多张 RGB 图片，便可一键生成四种材质贴图。
应用该能力只须要一般 RGB 手机，不要求 ToF 或 LiDAR，反对安卓所有机型；反对的材质类型，次要包含混凝土、大理石、岩石、碎石、砖、石膏、黏土、金属、木材、树皮、皮革、织物、漆面、塑料、合成资料等材质；反对 diffuse map, normal map, specular map, roughness map 等贴图类型；对于输出图像的分辨率，以后曾经能反对 1k~4k 贴图的输入，输出图像中需无接缝、无亮斑、暗影、倒影；对于最终制作成果，通过 SSIM 的评估指标评估，约大于 0.9，成果是十分好的。
通过上面的演示能够看出怎么实现房子的疾速创立，首先要通过材质生成能力疾速地生成材质贴图，而后把材质贴图拖到球下来，在用的时候，把材质球复制到白膜上就能够实现了，复制完当前再通过离线或者在线的渲染，就能够失去最终的实在成果，这是材质生成的能力。
动作捕获能力
最初来说咱们刚刚公布的动作捕获能力，动作捕获是通过一般单目摄像头输出间断视频帧或 RGB 图像，精准疾速预计 24 个人体骨骼关键点的三维信息。
动作捕获能力也只须要用到一般的手机，输出视频流或图像，就能够预计出人体骨骼，能够反对常见的站立、行走、奔跑等大略 7 到 8 个动作。
视频流、RGB 图像的输出格局，倡议分辨率 320~1080P，如果分辨率更大，可能会带来工夫减少，但成果并没有很显著的晋升，所以你能够先做一个图像的缩放，产生一个比拟好的成果。
输入的格局也比拟重要，咱们的动作捕获能力能够同时输入 24 个人体骨骼关键点的四元数和 3D 坐标，在一些引擎外面，间接能够驱动匹配。对于时延，咱们的 CPU 大略能够达到 30 祯 FPS，而 NPU 能够达到 80 祯 FPS。
咱们提供了两种集成形式，一种是根底包的形式，如果你是华为手机，只须要集成根底包 200k。在理论利用的时候能够通过下载算法包的形式，比如说在小米手机或其余的手机上，就能够集成 FullSDK 的模式。
下面这个集成物体建模能力的 APP，叫 3D Live Scanner。
在没有接入 3D 建模服务之前，这个 APP 只能依赖带深度信息的设施，导致局部用户无奈应用，并且没有独自物体建模的能力。而在集成了 3D 建模服务之后，不仅反对 RGB 的手机，还能够反对背景剔除，模型成果准确率大幅晋升。据 CP 反馈的数据来看，在集成这个能力当前，在欧洲这个区域，往年一个月内，它的下载量大略减少了 190%，整个营收也是有很大幅的减少。并且，该 APP 的客户应用后反映，用华为 3D 建模的能力产生的建模成果，曾经超过了大家常常用的 PC 版业余建模能力。
以上就是我的分享，谢谢！
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~