关于人工智能:扩散模型的极简介绍

在计算机视觉中，生成模型是一类可能生成合成图像的模型。例如，一个被训练来生成人脸的模型，每次都会生成一张从未被该模型或任何人看到过的人脸。生成模型最驰名的例子是 GAN(生成反抗网络)。它有生成器和鉴别器，它们互相反抗，而后生成图像。因为模型自身具备对抗性，因而很难进行训练。这使得很难达到一个最优的均衡。利用扩散模型能够解决这个问题。（下图为常见的生成模型的根本架构）

扩散模型也是生成模型，扩散模型背地的直觉来源于物理学。在物理学中气体分子从高浓度区域扩散到低浓度区域，这与因为噪声的烦扰而导致的信息失落是类似的。所以通过引入噪声，而后尝试通过去噪来生成图像。在一段时间内通过屡次迭代，模型每次在给定一些噪声输出的状况下学习生成新图像。

扩散模型是如何工作的

扩散模型的工作原理是学习因为噪声引起的信息衰减，而后应用学习到的模式来生成图像。该概念也实用于潜在变量，因为它试图学习噪声散布而不是数据分布。噪声散布应用马尔可夫链的概念建模。这使它成为一个概率模型。

正向过程

正向过程遵循马尔可夫链的概念。其中状态 t 示意马尔可夫链中的状态。状态的变动遵循概率分布而概率是潜变量的函数。该模型的指标是学习在扩散模型中管制扩散的潜在变量。

给定数据样本 x0，工夫步长 t 和实在噪声Ɛ，能够定义如下的训练损失函数。这是在训练阶段实现的，并最终在反向解决步骤中应用去噪图像。

去噪样本

去噪操作与正向过程相同。咱们应用学习到的潜在变量来计算状态转换的概率，从而实现马尔可夫链。去噪也是分阶段进行的，每个阶段都会产生一个噪声稍小的样本，直到咱们达到原始样本的第 0 阶段。

马尔可夫链的条件概率是应用神经网络和潜在变量作为输出来学习的。这为咱们提供了能够从图像中去除的噪声散布。这与实现马尔可夫链时的正向过程齐全相同。并且应用下面提到的损失函数进行训练。去噪步骤能够示意如下。

将扩散模型利用于理论问题。

扩散模型曾经被用于图像生成。最好的例子是 DALL- E 模型，它应用扩散模型来应用文本题目生成图像。也被称为文本到图像的生成。

尽管 DALL- E 是一个简单的零碎，但它应用了两个次要组件。CLIP(contrast Language-image pre-training) 模型和先验模型。

能够通过将图像和题目传递给图像来训练 CLIP。而后在推理过程中它会为图像生成题目。这是 ViT 模型的一个示例，CLIP 存储图像的视觉特色和语言特色，有了这些数据咱们就能够说图像被翻译成语言。扩散模型的反向过程用于 DALL-E 中的推理：给出一个文本题目将返回一个图像。但 CLIP 不是一个生成模型，因为咱们能够训练它产生图像，但它只能返回它不晓得的图像。而 DALL- E 能够为文本提醒生成图像，如“爱因斯坦装扮成贝多芬”。

而先验模型是一种可能从噪声中生成图像的扩散模型。然而在扩散模型中，咱们无法控制模型产生的图像类型。对于“爱因斯坦装扮成贝多芬”这种文本题目，须要爱因斯坦和贝多芬的图像。因而应用 CLIP 生成图像，图像的特色被加强为噪声样本，而后传递到先验模型。先验模型对图像进行去噪解决，最终失去的图像应该与输出的文本信息靠近。

让咱们应用 DALL-E mini 来尝试一下，以下是后果（因为 DALL-E 是要钱的咱们这里应用收费的 DALL-E mini）。

尽管这不是最好的图像，但我认为它能阐明本文下面观点。

总结

扩散模型是生成模型，在生成新图像方面优于 GANs 和 VAEs。它是无效的并且易于施行，能够产生卓越的品质的图像。应用生成模型并不只是为了好玩，咱们能够通过它生成合成数据。特斯拉正在应用合成数据创立真实世界的模仿来训练他们的主动驾驶汽车。就像他们人工智能负责人本人说的那样，即便有特斯拉车队中大量的样本，也很难找到形容非凡场景的图像，所以生成模型提供了这种可能。

另外还能够将这些模型与 3D 重建技术相结合，生成 AR/VR 所需的 3D 图像或环境，或者从乐音中产生新的音频。它应该在实质上遵循雷同的准则，只管训练数据的性质可能会有所不同。

援用

1. Ho, J., Jain, A. and Abbeel, P., 2020. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33, pp.6840–6851.
2. Sohl-Dickstein, Jascha, et al.“Deep unsupervised learning using nonequilibrium thermodynamics.”International Conference on Machine Learning. PMLR, 2015.
3. Luo, Calvin.“Understanding Diffusion Models: A Unified Perspective.”arXiv preprint arXiv:2208.11970 (2022).
4. Dhariwal, Prafulla, and Alexander Nichol.“Diffusion models beat gans on image synthesis.”Advances in Neural Information Processing Systems 34 (2021): 8780–8794.

https://avoid.overfit.cn/post/320c80293e6643168c1b3eac1468d4c8

作者：Sharad Nataraj