关于人工智能:硬核实操如何拥有一个自己的数字人模型

作者：京东衰弱 陈刚

一、前言

近年来，随着人工智能技术，VR，元宇宙等技术的倒退，数字人（Digital Human）逐步成为钻研的热点之一，数字人是指通过计算机技术模拟出的具备人类表面，动作和语言能力的虚构人物，具体能够利用到电影、游戏、虚拟现实、智能客服 、 带货主播 等多个畛域。

本文大抵分为三个章节：

1. 第一局部会介绍罕用技术以及简介，以及本人用到构建一个本人虚构数字人用到的 3D 引擎和三维软件
2. 第二局部会详细描述生成细节，通过照片建模，创立模型，增加细节，增加表情，优化成果，接入场景，最终成果
3. 第三局部总结本篇内容

从预感将来到遇见将来，让咱们开始，向上吧技术人！！！

二、虚构数字人技术

要聊须要那些技术，先聊须要那些步骤？

• 收集数据：首先须要收集本人的数据，包含照片、视频、声音等，这些数据将成为数字人的根底。

• 人脸检测：利用计算机视觉技术对照片进行解决，检测出其中的人脸。能够应用已有的人脸检测算法，例如 OpenCV、Dlib 等。

• 人脸识别：对于检测进去的人脸，须要利用人脸识别技术对其进行辨认和剖析，从而获取人脸的各种特色和信息。能够应用已有的人脸识别算法，例如 FaceNet、VGGFace 等。

• 3D 建模技术：数字人是一种三维模型，因而须要把握 3D 建模技术。这包含了把握 3D 建模软件的应用，如 Blender、Maya、ZBrush 等。

• 优化细节：优化数字人的各种细节，包含皮肤纹理、发型、服装等，让数字人更加实在、活泼。

• 材质和纹理制作技术：数字人须要具备真切的材质和纹理，因而须要把握材质和纹理制作技术。这包含了把握材质和纹理制作软件的应用，如 Substance Painter、Photoshop 等。

• 动画制作技术：数字人须要具备动静的动作和表情，因而须要把握动画制作技术。这包含了把握动画制作软件的应用，如 Unity、Unreal Engine 等。

以下文字内容较多，先放一个本人建好的模型

1、收集数据或者生成图片

• Photoshop、相机：这部分疏忽一下，哈哈哈

• Stable Diffusion：AI 图像生成工具，一个基于 Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型，生成图片的原理是通过模仿稳固扩散过程并生成相应的数据，而后将数据可视化展现为图片，以帮忙用户更好地了解试验后果和数据特色

• ChatGPT：OpenAI 团队 ChatGPT-4O 开发了一种新的技术，使 ChatGPT 也能够 生成图片。这种技术被称为 DALL·E（即“Drawing Artificially with a Learned Language Model and a Encoder”），它联合了语言模型和图像编码器的能力，可能依据给定的文本形容生成对应的图片。

2、人脸检测和辨认

• OpenCV：是一个用于计算机视觉的开源库，它提供了许多罕用的计算机视觉算法和工具，如图像处理、特征提取、物体检测、人脸识别、跟踪等。OpenCV 反对多种编程语言，包含 C ++、Python 等。

• Dlib：是一个 C ++ 库，它提供了用于机器学习、图像处理、计算机视觉等畛域的算法和工具。其中最出名的性能是人脸识别，它基于深度学习和传统的计算机视觉技术，并提供了人脸对齐、人脸特征提取等性能。

• FaceNet：是由 Google 开发的一个深度学习算法，用于将人脸图像转换为高维向量示意，从而实现人脸识别。FaceNet 应用了三个次要组件：卷积神经网络、三元组损失函数和在线学习办法，这些组件使得 FaceNet 可能在大规模人脸识别工作中达到很高的准确率。

• VGGFace：是由牛津大学的钻研团队开发的人脸识别算法，它基于深度卷积神经网络，并应用了许多卷积层和池化层来提取人脸图像的特色。VGGFace 蕴含了两个模型：VGGFace 和 VGGFace2，其中 VGGFace 是一个较早的模型，而 VGGFace2 是一个新的模型，它在大规模人脸识别工作中具备更好的性能。

3、3D 建模技术

• Blender：是一个用于三维建模、动画、渲染和交互式利用程序开发的开源软件。它反对多种三维对象的创立和编辑，包含多边形网格、NURBS 曲线、体积网格等，并提供了丰盛的材质和纹理编辑器，能够帮忙用户创立出真切的场景和角色。

• Metashape：前身为 PhotoScan）是一个用于三维重建和地形建模的商业软件。它能够依据照片生成高精度的数字模型，并提供了多种渲染选项和工具，如纹理映射、贴图、相机校准等。Metashape 还能够将生成的模型导出到其他软件中进行后续解决和利用。

• Maya：是一款专业级的三维建模和动画软件，宽泛用于电影、电视、游戏等畛域。它提供了丰盛的建模和动画工具，包含多边形网格、NURBS 曲线、动力学仿真、粒子系统等，并反对多种渲染引擎，如 Arnold、V-Ray 等。

• ZBrush：是一款专业级的数字雕刻软件，用于创立高精度的三维模型和角色。它提供了多种绘画和雕刻工具，包含多边形建模、纹理映射、雕刻笔刷等，并反对实时预览和交互式渲染。

• LayaAir：是一个用于 Web、挪动和小游戏开发的 HTML5 引擎。它提供了多种性能和工具，如 3D 渲染、物理引擎、GUI 编辑器等，能够帮忙用户创立出高效、高质量的 Web 利用和游戏。LayaAir 还反对多种开发语言，包含 JavaScript、TypeScript 等。

4、动画制作技术

• Unity3D：Unity3D 是一款实时 3D 互动内容创作和经营平台，反对多种平台和设施，包含 PC、挪动设施、虚拟现实和加强事实等。Unity3D 提供了弱小的编辑器和工具，反对 C# 和 UnityScript 等多种编程语言，可用于游戏开发、AR/VR 利用开发等。

• Unreal Engine: Unreal Engine 是一款由 Epic Games 开发的 3D 游戏引擎，同样反对多种平台和设施，包含 PC、主机、挪动设施、VR 和 AR 等。Unreal Engine 提供了弱小的编辑器和工具，反对 C ++ 和蓝图等多种编程形式，可用于游戏开发、修建可视化、虚构展览等。

• CryEngine：CryEngine 是一款由 Crytek 开发的 3D 游戏引擎，同样反对多种平台和设施，包含 PC、主机、挪动设施、VR 和 AR 等。CryEngine 提供了弱小的编辑器和工具，反对 C ++ 和 Lua 等多种编程形式，可用于游戏开发、修建可视化、虚构展览等。

• Godot：Godot 是一款收费、开源的 3D 游戏引擎，反对多种平台和设施，包含 PC、挪动设施、Web 和 VR 等。Godot 提供了弱小的编辑器和工具，反对 GDScript 和 C# 等多种编程语言，可用于游戏开发、AR/VR 利用开发等。

局部软件图标

除了以上技术应该还有很多技术，欢送大家热烈探讨和在评论区补充😏

三、构建一个本人的数字人—小陈

第一步 用本人的照片生成本人的头像模型

有以下三种方法

1、应用 https://avatarsdk.com/ 在线制作，这个 H5 是基于 WebGL 的 OpenCV 技术构建，能够传一张照片（高 p 的）生成头的模型，也能够生成头和身材模型。

为了不影响建模，个别抉择秃头，导出数字人头部模型

2、应用 Polycam 软件应用上传生成导出

拍照时本人站着不要动，咱们做数字人须要头就能够，拍照的仰角和俯角歪斜，拍 40 张左右即可

导入 Blender 进行对点云局部删除局部，剖析建模，而后导出数字人头部模型

3、通过照片, 格局工厂，在 Metashape 构建模型 对点云进行解决 导出数字人头部模型，原理是一样的

以上形式依据具体的需要来，第二三种形式更真切。

第二步 导入模型到 UE5 中，并装置插件

装置 MetaHuman 插件（数字人）、Bridge 插件（建模）、LiveLink 插件（交互动作）。插件都装好后，重启空幻引擎

1、导入咱们第一步的模型，创立 MetaHuman 实体，并给实体命名，留神这个名字就是你数字人的名字

2、双击进入，面部抉择网格体也就是咱们第一步生成的头像模型，并给君子抉择适合身材

持续点击晋升帧，追踪流动帧，成果如下图

持续点击 MetaHuman 本体解算、网格体转 MetaHuman。

3、在 UE5 中关上 Bridge，登陆一下账号，只有 logo 的就是咱们的君子了。疏忽我设计的秃顶和爆炸头小陈

选中 logo 模型，点击 START MHC 进入 MetaHuman Creator 网页，https://metahuman.unrealengine.com/ 进一步加工咱们的 MetaHuman 吧

第三步 调整你的数字人

对骨骼，肤色，头发，牙齿，身材，表情动作等进行调整，内容太丰盛，倡议本人尝试，放一个眼影小陈，和大胡子小陈

第四步 下载数字人并加载到空幻引擎中

1、关上 Bridge 点击 Down

2、增加君子到我的项目中后我的项目中多了一个 MetaHuman 的文件夹，挪动到你的场景吧

3、最终效果图，只下载好了（网速不好）秃头小陈切实不好放大，下次做个难看的在更新下文章吧。

四、总结和畅想

本文介绍了如何打造一个数字人，形容业内罕用的一些软件和技术栈，并实战打造一个以本人为模型构建的虚构数字人，并详细描述了全过程。总的来说数字人具备了真切的人类外貌、身材动作和语言能力的虚构人物，不同的制作方法和技术能够实现不同的成果和利用，抉择适合的办法和技术须要依据具体需要和我的项目状况来确定。

大家将就看完了，模型还是丑丑的😭，下一步继续晋升，让数字人领有智慧，领有交互，领有颜值（毕竟颜值才是正义）。

对于数字人如何创立和相干技术就介绍到这里啦，我也是刚入门，有不对的中央和须要补充的，欢送大家斧正，心愿对大家所有帮忙，也欢送多多 点赞珍藏😎。

最初对于数字人的利用场景和结合实际的落地成果，大家有好的 idea 也能够一起探讨。

五、团队介绍

咱们是互联网医疗服务团队，次要是在医药闭环流程中，承接医患两端服务平台，包含派单、问诊、处方等垂直畛域业务，团队始终致力于在医疗行业中摸索和利用各种新兴的科技伎俩。目前次要在医学对话，近程医疗、医学影像诊断等方面进行摸索和尝试，置信能够为医生和患者带来更好的医疗服务体验。