作者：京东衰弱 陈刚
一、前言
近年来，随着人工智能技术，VR，元宇宙等技术的倒退，数字人（Digital Human）逐步成为钻研的热点之一，数字人是指通过计算机技术模拟出的具备人类表面，动作和语言能力的虚构人物，具体能够利用到电影、游戏、虚拟现实、智能客服、带货主播等多个畛域。
本文大抵分为三个章节：
- 第一局部会介绍罕用技术以及简介，以及本人用到构建一个本人虚构数字人用到的3D引擎和三维软件
- 第二局部会详细描述生成细节，通过照片建模，创立模型，增加细节，增加表情，优化成果，接入场景，最终成果
- 第三局部总结本篇内容
从预感将来到遇见将来，让咱们开始，向上吧技术人！！！
二、虚构数字人技术
要聊须要那些技术，先聊须要那些步骤？
• 收集数据：首先须要收集本人的数据，包含照片、视频、声音等，这些数据将成为数字人的根底。
• 人脸检测：利用计算机视觉技术对照片进行解决，检测出其中的人脸。能够应用已有的人脸检测算法，例如OpenCV、Dlib等。
• 人脸识别：对于检测进去的人脸，须要利用人脸识别技术对其进行辨认和剖析，从而获取人脸的各种特色和信息。能够应用已有的人脸识别算法，例如FaceNet、VGGFace等。
• 3D建模技术：数字人是一种三维模型，因而须要把握3D建模技术。这包含了把握3D建模软件的应用，如Blender、Maya、ZBrush等。
• 优化细节：优化数字人的各种细节，包含皮肤纹理、发型、服装等，让数字人更加实在、活泼。
• 材质和纹理制作技术：数字人须要具备真切的材质和纹理，因而须要把握材质和纹理制作技术。这包含了把握材质和纹理制作软件的应用，如Substance Painter、Photoshop等。
• 动画制作技术：数字人须要具备动静的动作和表情，因而须要把握动画制作技术。这包含了把握动画制作软件的应用，如Unity、Unreal Engine等。
以下文字内容较多，先放一个本人建好的模型
1、收集数据或者生成图片
• Photoshop、相机：这部分疏忽一下，哈哈哈
• Stable Diffusion：AI图像生成工具，一个基于Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型，生成图片的原理是通过模仿稳固扩散过程并生成相应的数据，而后将数据可视化展现为图片，以帮忙用户更好地了解试验后果和数据特色
• ChatGPT：OpenAI团队ChatGPT-4O开发了一种新的技术，使ChatGPT也能够生成图片。这种技术被称为DALL·E（即“Drawing Artificially with a Learned Language Model and a Encoder”），它联合了语言模型和图像编码器的能力，可能依据给定的文本形容生成对应的图片。
2、人脸检测和辨认
• OpenCV：是一个用于计算机视觉的开源库，它提供了许多罕用的计算机视觉算法和工具，如图像处理、特征提取、物体检测、人脸识别、跟踪等。OpenCV反对多种编程语言，包含C++、Python等。
• Dlib：是一个C++库，它提供了用于机器学习、图像处理、计算机视觉等畛域的算法和工具。其中最出名的性能是人脸识别，它基于深度学习和传统的计算机视觉技术，并提供了人脸对齐、人脸特征提取等性能。
• FaceNet：是由Google开发的一个深度学习算法，用于将人脸图像转换为高维向量示意，从而实现人脸识别。FaceNet应用了三个次要组件：卷积神经网络、三元组损失函数和在线学习办法，这些组件使得FaceNet可能在大规模人脸识别工作中达到很高的准确率。
• VGGFace：是由牛津大学的钻研团队开发的人脸识别算法，它基于深度卷积神经网络，并应用了许多卷积层和池化层来提取人脸图像的特色。VGGFace蕴含了两个模型：VGGFace和VGGFace2，其中VGGFace是一个较早的模型，而VGGFace2是一个新的模型，它在大规模人脸识别工作中具备更好的性能。
3、3D建模技术
• Blender：是一个用于三维建模、动画、渲染和交互式利用程序开发的开源软件。它反对多种三维对象的创立和编辑，包含多边形网格、NURBS曲线、体积网格等，并提供了丰盛的材质和纹理编辑器，能够帮忙用户创立出真切的场景和角色。
• Metashape：前身为PhotoScan）是一个用于三维重建和地形建模的商业软件。它能够依据照片生成高精度的数字模型，并提供了多种渲染选项和工具，如纹理映射、贴图、相机校准等。Metashape还能够将生成的模型导出到其他软件中进行后续解决和利用。
• Maya：是一款专业级的三维建模和动画软件，宽泛用于电影、电视、游戏等畛域。它提供了丰盛的建模和动画工具，包含多边形网格、NURBS曲线、动力学仿真、粒子系统等，并反对多种渲染引擎，如Arnold、V-Ray等。
• ZBrush：是一款专业级的数字雕刻软件，用于创立高精度的三维模型和角色。它提供了多种绘画和雕刻工具，包含多边形建模、纹理映射、雕刻笔刷等，并反对实时预览和交互式渲染。
• LayaAir：是一个用于Web、挪动和小游戏开发的HTML5引擎。它提供了多种性能和工具，如3D渲染、物理引擎、GUI编辑器等，能够帮忙用户创立出高效、高质量的Web利用和游戏。LayaAir还反对多种开发语言，包含JavaScript、TypeScript等。
4、动画制作技术
• Unity3D：Unity3D是一款实时3D互动内容创作和经营平台，反对多种平台和设施，包含PC、挪动设施、虚拟现实和加强事实等。Unity3D提供了弱小的编辑器和工具，反对C#和UnityScript等多种编程语言，可用于游戏开发、AR/VR利用开发等。
• Unreal Engine: Unreal Engine是一款由Epic Games开发的3D游戏引擎，同样反对多种平台和设施，包含PC、主机、挪动设施、VR和AR等。Unreal Engine提供了弱小的编辑器和工具，反对C++和蓝图等多种编程形式，可用于游戏开发、修建可视化、虚构展览等。
• CryEngine：CryEngine是一款由Crytek开发的3D游戏引擎，同样反对多种平台和设施，包含PC、主机、挪动设施、VR和AR等。CryEngine提供了弱小的编辑器和工具，反对C++和Lua等多种编程形式，可用于游戏开发、修建可视化、虚构展览等。
• Godot：Godot是一款收费、开源的3D游戏引擎，反对多种平台和设施，包含PC、挪动设施、Web和VR等。Godot提供了弱小的编辑器和工具，反对GDScript和C#等多种编程语言，可用于游戏开发、AR/VR利用开发等。
局部软件图标
除了以上技术应该还有很多技术，欢送大家热烈探讨和在评论区补充
三、构建一个本人的数字人—小陈
第一步 用本人的照片生成本人的头像模型
有以下三种方法
1、应用 https://avatarsdk.com/ 在线制作，这个H5是基于WebGL的OpenCV技术构建，能够传一张照片（高p的）生成头的模型，也能够生成头和身材模型。
为了不影响建模，个别抉择秃头，导出数字人头部模型
2、应用Polycam软件应用上传生成导出
拍照时本人站着不要动，咱们做数字人须要头就能够，拍照的仰角和俯角歪斜，拍40张左右即可
导入Blender进行对点云局部删除局部，剖析建模，而后导出数字人头部模型
3、通过照片,格局工厂，在Metashape构建模型 对点云进行解决 导出数字人头部模型，原理是一样的
以上形式依据具体的需要来，第二三种形式更真切。
第二步 导入模型到UE5中，并装置插件
装置 MetaHuman插件（数字人）、 Bridge插件（建模）、LiveLink插件（交互动作）。插件都装好后，重启空幻引擎
1、导入咱们第一步的模型，创立MetaHuman实体，并给实体命名，留神这个名字就是你数字人的名字
2、双击进入，面部抉择网格体也就是咱们第一步生成的头像模型，并给君子抉择适合身材
持续点击晋升帧，追踪流动帧，成果如下图
持续点击MetaHuman本体解算、网格体转MetaHuman。
3、在UE5中关上Bridge，登陆一下账号，只有logo的就是咱们的君子了。疏忽我设计的秃顶和爆炸头小陈
选中logo模型，点击START MHC进入MetaHuman Creator网页， https://metahuman.unrealengine.com/ 进一步加工咱们的MetaHuman吧
第三步 调整你的数字人
对骨骼，肤色，头发，牙齿，身材，表情动作等进行调整，内容太丰盛，倡议本人尝试，放一个眼影小陈，和大胡子小陈
第四步 下载数字人并加载到空幻引擎中
1、关上Bridge点击Down
2、增加君子到我的项目中后我的项目中多了一个MetaHuman的文件夹，挪动到你的场景吧
3、最终效果图，只下载好了（网速不好）秃头小陈切实不好放大，下次做个难看的在更新下文章吧。
四、总结和畅想
本文介绍了如何打造一个数字人，形容业内罕用的一些软件和技术栈，并实战打造一个以本人为模型构建的虚构数字人，并详细描述了全过程。总的来说数字人具备了真切的人类外貌、身材动作和语言能力的虚构人物，不同的制作方法和技术能够实现不同的成果和利用，抉择适合的办法和技术须要依据具体需要和我的项目状况来确定。
大家将就看完了，模型还是丑丑的，下一步继续晋升，让数字人领有智慧，领有交互，领有颜值（毕竟颜值才是正义）。
对于数字人如何创立和相干技术就介绍到这里啦，我也是刚入门，有不对的中央和须要补充的，欢送大家斧正，心愿对大家所有帮忙，也欢送多多点赞珍藏。
最初对于数字人的利用场景和结合实际的落地成果，大家有好的idea也能够一起探讨。
五、团队介绍
咱们是互联网医疗服务团队，次要是在医药闭环流程中，承接医患两端服务平台，包含派单、问诊、处方等垂直畛域业务，团队始终致力于在医疗行业中摸索和利用各种新兴的科技伎俩。目前次要在医学对话，近程医疗、医学影像诊断等方面进行摸索和尝试，置信能够为医生和患者带来更好的医疗服务体验。