关于人工智能:AI-制作-3D-素材｜基于-AI-5-天创建一个农场游戏第-3-天

欢送应用 AI 进行游戏开发！ 在本系列中，咱们将应用 AI 工具在 5 天内创立一个性能齐备的农场游戏。到本系列完结时，您将理解到如何将多种 AI 工具整合到游戏开发流程中。本文将向您展现如何将 AI 工具用于:

1. 美术格调
2. 游戏设计
3. 3D 素材
4. 2D 素材
5. 剧情

留神： 本教程面向相熟 Unity 开发和 C# 语言的读者。如果您不相熟这些技术，请先查看 Unity for Beginners 系列后再持续浏览。

第 3 天：3D 素材

本教程系列的 第 2 局部 介绍了 应用 AI 进行游戏设计。更具体地说，咱们发问 ChatGPT 进行头脑风暴，进而设计农场游戏所需的性能组件。

在这一部分中，咱们将探讨如何应用 AI 制作 3D 素材。先说论断：不可行。因为 现阶段 的文本 -3D 技术水平还没有倒退到可用于游戏开发的水平。不过 AI 畛域在迅速改革，可能很快就有冲破。如想理解 文本 -3D 现阶段停顿，现阶段不可行的起因，以及 文本 -3D 的将来倒退，请持续往下浏览。

文本 -3D 现阶段停顿

咱们在 第 1 局部 中介绍了应用 Stable Diffusion 帮忙确立游戏美术格调，这类 文本 - 图像 的工具在游戏开发流程中体现十分震撼。同时游戏开发中也有 3D 建模需要，那么从文本生成 3D 模型的 文本 -3D 工具体现如何？上面总结了此畛域的近期停顿：

• CLIPMatrix 和 CLIP-Mesh-SMPLX 能够间接生成 3D 纹理网格。
• DreamFusion 应用 diffusion 技术从 2D 图像生成 3D 模型。
• CLIP-Forge 能够从文本生成体素（体积像素，3 维空间最小宰割单元，相似图片的像素）3D 模型。
• CLIP-NeRF 能够输出文本或者图像来驱动 NeRF 生成新的 3D 模型。
• Point-E 和 Pulsar+CLIP 能够用文本生成 3D 点云。
• Dream Textures 应用了 文本 - 图像 技术，能够在 Blender（三维图形图像软件）中主动对场景纹理贴图。

注：3D 对象有多种表征模式：显式（explicit representation）包含网格、体素、点云等，能够进行贴图、渲染、合成虚构视角等；隐式（implicit representation）通常应用函数映射来形容，NeRF 就是一种能够合成虚构视角的隐式表征。

除 CLIPMatrix 和 CLIP-Mesh-SMPLX 之外，上述大部分办法或基于 视图合成 (view synthesis) 生成 3D 对象，或生成特定主体的新视角，这就是 NeRF（Neural Radiance Fields，神经辐射场）背地的思维。NeRF 应用神经网络来做视图合成，这与传统 3D 渲染办法（网格、UV 映射、摄影测量等）有较大差别。

那么，这些技术为游戏开发者带来了多少可能性? 我认为 现阶段 是 零，实际上它还没有倒退到可用于游戏开发的水平。上面我会阐明一下起因。

现阶段不可行的起因

留神： 此局部面向相熟传统 3D 渲染技术（如 网格，UV 映射，和 摄影测量）的读者。

网格是大部分 3D 世界的运行基石。诸如 NeRFs 的视图合成技术尽管成果十分惊艳，但现阶段却难以兼容网格。不过 NeRFs 转换为网格 方向的工作曾经在进行中，这部分的工作与 摄影测量 有些相似，摄影测量是对事实世界特定对象采集多张图像并组合起来，进而制作网格化的 3D 模型素材。

既然基于神经网络的 文本 -NeRF- 网格和摄影测量的采图 - 组合 - 网格两者的 3D 化流程有相似之处，同样他们也具备类似的局限性：生成的 3D 网格素材不能间接在游戏中应用，而须要大量的专业知识和额定工作能力应用。因而我认为，NeRF- 网格可能是一个有用的工具，但现阶段并未显示出 文本 -3D 的改革后劲。

还拿摄影测量类比，目前 NeRF- 网格 最适宜的场景同样是创立超高保真模型素材，但实际上这须要大量的人工后处理工作，因而这项技术用在 5 天创立一个农场游戏系列中没有太大意义。为保障游戏开发顺利进行，对于须要有差异性的多种农作物 3D 模型，我决定仅应用色彩不同的立方体加以辨别。

不过 AI 畛域的改革十分迅速，可能很快就会呈现可行的解决方案。在下文中，我将探讨文本 -3D 的一些倒退方向。

文本 -3D 的将来倒退

尽管文本 -3D 畛域最近获得了长足进步，但与现阶段文本 -2D 的影响力相比，仍有显著的差距。对于如何放大这个差距，我这里揣测两个可能的方向：

1. 改良 NeRF- 网格和网格生成（将间断的几何空间细分为离散的网格拓扑单元）技术。如上文提到的，现阶段 NeRF 生成的 3D 模型须要大量额定的工作能力作为游戏素材应用，尽管这种办法在创立高保真模型素材时十分无效，但它是以大量工夫开销为代价的。如果您跟我一样应用 low-poly（低多边形）美术格调来开发游戏，那么对于从零开始制作 3D 素材，您可能会偏好更低耗时的计划。
2. 更新渲染技术：容许 NeRF 间接在引擎中渲染。尽管没有官网布告，不过从 Nvidia Omniverse 和 Google DreamFusion3d 揣测，有许多开发者正在为此致力。

工夫会给咱们答案。如果您想跟上最新进展，能够在 Twitter 上关注作者查看相干动静。如果我错过了哪些新进展，也能够随时与我分割！

敬请期待第 4 局部的分享，我将为您介绍如何 应用 AI 制作 2D 素材。

致谢

感激 Poli @multimodalart 提供的最新开源文本 -3D 信息。

英文原文: https://huggingface.co/blog/m…

原文作者: Dylan Ebert, Hugging Face 工程师

中文译者: SuSung-boy (苏桑)，常常倒腾图像的工业视觉算法工程师。