关于stable-diffusion:AI-绘画基础-细数-Stable-Diffusion-中的各种常用模型-🧙-魔导士装备图鉴

AI 绘画老手魔导士在刚开始玩 Stable Diffusion 时总会遇到各种新的概念，让人困惑，其中就包含各种模型和他们之间的关系。

魔法师入门得先意识各种法师配备（各种模型），让咱们遇到问题晓得应用何种配备来帮助本人施展更大的成果。

safetensors

在理解各种模型之前，有必须先理解下 safetensors，玩过的应该都意识，就是很多模型的后缀。然而各种模型的后缀形形色色，然而总是能看到 safetensors 的影子，让人有些缭乱。

其实次要是因为 safetensors 反对各种 AI 模型，而在 safetensors 呈现前，各种 AI 模型都有着本人独特的后缀。这就导致每种模型既能够应用 safetensors 又能够应用本人原有的后缀，所以入门的时候就会让人有点分不清。

其实 safetensors 是由 huggingface 研发的一种开源的模型格局，它有几种劣势：

• 足够平安，能够避免 DOS 攻打
• 加载迅速
• 反对懒加载
• 通用性强

所以当初大部分的开源模型都会提供 safetensors 格局。

开源地址： https://github.com/huggingface/safetensors

模型分类

说完了 safetensors 咱们进入正题，聊一聊在 Stable Diffusion 中常见的各种模型。

Checkpoint ｜ Stable Diffusion

Checkpoint 是 Stable Diffusion 中最重要的模型，也是主模型，简直所有的操作都要依靠于主模型进行。而所有的主模型都是基于 Stable Diffusion 模型训练而来，所以有时会被称为 Stable Diffusion 模型。

主模型后缀个别为 .ckpt 或者 .safetensors，并且体积比拟宏大，个别在 2G – 7G 之间。而要治理模型咱们须要进入 WebUI 目录下的 models/Stable-diffusion 目录下。

在应用 WebUI 时左上角切换的就是主模型了。

LoRA 和 LyCORIS

LoRA 是除了主模型外最罕用的模型。LoRA 和 LyCORIS 都属于微调模型，个别用于管制画风、管制生成的角色、管制角色的姿态等等。

LoRA 和 LyCORIS 的后缀均为 .safetensors，体积较主模型要小得多，个别在 4M – 300M 之间。个别应用 LoRA 模型较多，而 LyCORIS 与 LoRA 相比可调节范畴更大，然而须要额定的扩大才可应用。须要治理模型时咱们能够进入 WebUI 目录下的 models/LoRA 目录下。

在 WebUI 中应用时，可通过点击左侧的小红灯，而后在 LoRA 菜单中点击应用。也能够间接应用 Prompt 调用。

Textual Inversion

Textual Inversion 是文本编码器模型，用于扭转文字向量。能够将其了解为一组 Prompt。

Textual Inversion 后缀为 .pt 或者 .safetensors，体积十分小，个别只有几 kb。模型所在的目录不在 models 下，而是在 WebUI 中的 embeddings 目录下。

在应用时同样能够应用小红灯中的 Textual Inversion，也能够应用 Prompt 调用。

Hypernetworks

Hypernetworks 模型用于调整模型神经网络权重，进行格调的微调。

Hypernetworks 的后缀为 .pt 或者 .safetensors，体积个别在 20M – 200M 之间。模型的目录为 WebUI 下的 models/hypernetworks。

在应用时同样能够应用小红灯中的 Hypernetworks。

ControlNet

ControlNet 是一个及其弱小的管制模型，它能够做到画面管制、动作管制、色深管制、色调管制等等。应用时须要装置相应的扩大才可。

ControlNet 类模型的后缀为 .safetensors。模型的目录为 models/ControlNet。

应用时咱们须要先去 Extensions 页面搜寻 ControlNet 扩大，而后 Install 并 Reload UI。而后便能够在 txt2img 和 img2img 菜单下找到：

ControlNet 性能十分弱小，还解决 AI 画手的噩梦问题。

VAE

VAE 模型个别用于图片亮度和饱和度的修改、画面较正和以及补光等。个别在绘图时如果呈现图片亮度过低、发灰等问题时就须要用到。

VAE 模型的后缀为 .pt 或 .safetensors，体积个别为 335M 或 823M。模型的目录为 models/VAE。

应用时须要到 Settings 页面找到 SD VAE 菜单切换。

然而这样应用过于繁琐，所以如果应用到倡议在 Quicksettings list 配置中增加 sd_vae。

这样就能够在 WebUI 的顶部进行切换。

CodeFormer

CodeFormer 模型个别用于图片的修复，比方进步图片的分辨率、将黑白照片批改成彩色照片、人脸修复等等。

CodeFormer 是一个开源我的项目，在 WebUI 中曾经默认被整合，能够在 Extras 菜单中应用。如果须要批改 CodeFormer 版本能够将模型放到 models/codeformer

一览表

最初

下面几种模型就是 Stable Diffusion 中最罕用的几种，通过 Checkpoint 管制图片的次要格调；通过 VAE 给图片补光、调亮；通过 LoRA ｜ LyCORIS 对模型进行格调、角色管制；通过 Textual Inversion 简化 Prompt；通过 ControlNet 进行姿态、色调管制，修复手部。

不过这并不是 Stable Diffusion 中所有的模型，其它的一些模型如果有空再整顿下。