3D 建模服务（3D Modeling Kit）是 HMS Core 在图形图像畛域又一技术凋谢。3D 建模产品的定位就是要做疾速、简洁、低成本的 3D 制作能力，并陆续凋谢给有 3D 模型、动画游戏制作等能力诉求的开发者。开发者无需非凡硬件（RGBD\LiDAR 等）也能够利用拍摄图像之间共视信息匹配，估算出深度信息并实现采集。
3D 建模服务曾经凋谢了物体建模的能力，还有立体的材质生成和动作捕获三大外围能力，接下来还会对人体的建模以及面部捕获做进一步的能力凋谢。上面就来为开发者们分享介绍一下。
一、3D 物体建模能力
（1）3D 物体建模能力介绍
3D 物体建模的能力。不同于传统的建模师用 3D 软件制作模型的形式，或是通过扫描仪进行建模的形式，咱们的定位是要做挪动端疾速的、低成本 UDC 的生产，只需一般 RGB 相机，通过拍摄物体不同角度的多张图像，上传到云端，即可实现物体 3D 几何模型和纹理的自动化生成。硬件要求上，以后咱们反对安卓和 iOS，WEB APR，造成全终端的反对状态。
对于反对的类别。因为这是通过拍照摄影的办法，所以就要求这个物体的纹理须要尽量丰盛、不反光、尺寸中等、刚体，典型物体包含：商品类的毛绒玩具、包、鞋子等，家具类的比方沙发、抱枕，文物类能够是青铜器、石器、木器等。
反对物体尺寸大略是在 10 立方厘米和 2 立方米之间，当然物理尺寸更大也是能建模的，只是建模的工夫会更长一点。如果建模的图片在 1080P 的分辨率，整个建模时长大略在 5 分钟以内，最初输入的格局也是规范的 3D 模型的格局，包含 obj 和 gltf 的格局。最初比拟重要的一点，就是撑持这个能力的 SDK 包只有 83K 的大小，对于咱们 APP 开发者们来说是十分敌对的。
（2）3D 物体建模采集办法倡议
如果开发者想建一个比拟残缺的模型，对采集条件还是有肯定要求的。
第一，环境。倡议将繁多的采集物体静置于纯色的立体上。
第二，光照。光照需柔和，防止灯光过暗，或某一面有强烈的暗影。
第三，拍摄。要对焦，笼罩平均而足够的多视角，含仰望、平视、仰视角度共 50 张以上，相机挪动尽可能迟缓。
第四，采集过程。相邻照片至多有 70%-80% 的重叠，展现尽量大且残缺，要求尽量保障拍摄无虚焦、静止含糊、抖动含糊。
最初一点，物体的底部能够通过翻转续拍去建设，实现物体残缺模型的出现。
（3）利用场景
对于物体建模，比拟典型就是电商的场景。下图是咱们做的对于鞋子的建模和文物的建模，咱们搁置了一个小型的转盘，再放了一个小型的灯箱，而后依照以上形式就能够实现建模。相较 2D 的商品展现，3D 的展现能够给用户带来更好的体验，在电商行业，3D 商品展现能够提供差异化体验，通过“看、试、穿、戴”等模仿形式晋升用户转化，在文博行业，文物经三维数字化建模后，可利用于文物数字保留及多媒体展现。
二、立体材质的生成
（1）三维材质定义
第二个能力是立体材质的生成。图形学中的表观 (Appearance) 又称材质，是形容光线如何在物体外表和外部进行交互的一种性质，由材质模型和一组控制参数来定义外表外观。从下组图能够看出，右边的图，如果不认真看，对整个场景的感触十分弱，但如果把墙面、高空、油桶、桌面，这些资料加上去当前，真实感立即显示进去了。
在材质制作过程中，开发者和用户有哪些痛点呢？
第一，从事实世界采集的纹理通常须要通过美术用业余软件解决，能力用于渲染中获得真实感成果 。比方去除光照影响、调整凸凹、尺度等解决，过程耗时、费劲且难以标准化； 第二，传统纹理贴图解决成果重大依赖美术教训和特定渲染器，纹理素材在不同我的项目和渲染器间复用艰难，我的项目积攒少、制作老本居高不下。
为了解决这些痛点，咱们提供两种思路：
第一种，利用深度学习推理网络 ，一键生成合乎 PBR 规范的纹理因素，晋升纹理制作效率和品质； 第二种，将技术美术的教训和制作标准固化为遵循 PBR 规范的数据，通过数据在不同我的项目和渲染器间复用素材，传承美术制作教训。
（2）材质生成能力介绍
材质生成能力提供将 RGB 图像转换为 PBR 材质的能力，仅须要拍摄一张或多张 RGB 图片，便可一键生成五种材质贴图。
应用该能力只须要一般 RGB 手机，不要求 ToF 或 LiDAR，反对安卓所有机型；反对的材质类型，次要包含混凝土、大理石、岩石、碎石、砖、石膏、黏土、金属、木材、树皮、皮革、织物、漆面、塑料、合成资料等材质；反对 diffuse map, normal map, specular map, roughness map，height map 贴图类型；对于输出图像的分辨率，以后曾经能反对 1k~8k 贴图的输入，输出图像中需无接缝、无亮斑、暗影、倒影；对于最终制作成果，通过 SSIM 的评估指标评估，约大于 0.9，成果是十分好的。
（3）材质库
开发者能够依据须要应用品种丰盛的材质库，能够依据需要筛选场景和品种并提供 1k-8k 分辨率的的 PBR 材质贴图，同时，反对查问、预览和下载等性能，
三、动作捕获能力
刚刚公布的动作捕获能力是通过一般单目摄像头输出间断视频帧或 RGB 图像，精准疾速预计 24 个人体骨骼关键点的三维信息。开发者集成也只须要用到一般的手机，输出视频流或图像，就能够预计出人体骨骼，能够反对站立、行走、舞蹈、蹲、侧身、弯腰等常见动作。
视频流、RGB 图像的输出格局，倡议视频中图片分辨率不小于 320320 px，分辨率过低影响检测精度。同时分辨率不高于 19201080 px，分辨率过高会影响检测帧率。输入的格局也比拟重要，动作捕获能力能够同时输入 24 个人体骨骼关键点的四元数和 3D 坐标，在一些引擎外面，间接能够驱动匹配。
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~