看完这篇文章，你将学会以下无价之宝的内容
1、云端部署（配置不行的小伙伴看）+ 云端模型搁置地位
2、本地部署（配置达标的小伙伴看）
3、使用 SD 训练 IP 的流程和技巧（LoRA 篇）
4、使用 SD 稳固生成高质量 IP 海报
家喻户晓，各大厂目前都在 AIGC 的畛域摸索实际，也有十分多的内部设计师制作了大量的 AIGC 相干授课，很多同学因为不分明具体能失去什么价值或者播种而进行了脚步。明天我来为大家分享一下通过理论摸索且落地的 Stable diffusion 的 IP 海报生成流程，内容很干请上车坐稳
📌 先来看一下达达骑士 IP 的成果：
· 浅看一下 IP 海报生成过程
· V1 模型生成
· V2 模型生成
•V3 模型生成
1、云端部署
应该有很多小伙伴苦于没有一个趁手的电脑配置，以及繁琐的本地配置，最终卡在了配置这个环节，明天我将带大家实现 SD 的云端部署，看完你就能完满的关上 SD 了
1、关上云端地址：https://www.autodl.com/home
1、注册登陆后，点击算力市场
2、抉择按量计费、内蒙 A 区（注：不要选北京区可能须要 SHH 企业关上的问题）
3、点击社区镜像
4、输出搜寻关键词 vel，找到并抉择最新 stable-diffusion 镜像
5、点击立刻创立
6、命名本人的服务器，期待创立实现和开机
7、点击 JupyterLab，进入 MainUI.ipynb
8、左侧目录下，关上 MainUI.ipynb，点击第一行代码区域，而后点击上方的“运行”三角，显示“挪动实现”后刷新页面
9、将右上角 python 3，改为 xl_env
10、点击第二行代码区域，而后点击上方的“运行”三角，期待功能模块呈现
11、抉择“启动 WebUi”，而后勾选前 4 个罕用性能，点击运行 WebUi，期待代码运行
12、当看到蓝色的 URL 时，则示意运行胜利了，而后返回 AutoDL 下本人的服务器
13、点击“自定义服务”，祝贺你胜利进入云端 SD 了
2、云端根底模型的搁置地位
1、大模型搁置地位：dutodl-tmp——stable-diffusion-webui——models——Stable-diffusion
2、lora 搁置地位：dutodl-tmp——stable-diffusion-webui——models——Lora
3、VAE 搁置地位：dutodl-tmp——stable-diffusion-webui——models——VAE
4、ControlNet 模型搁置地位：dutodl-tmp——stable-diffusion-webui——extensions——sd-webui-controlnet——models
5、起手式地位：dutodl-tmp——stable-diffusion-webui
2、本地部署
秋葉 Stable diffusion 一键包
百度链接 https://pan.baidu.com/s/1A4xSvlLHUJ8uplOc7WjZqg；提取码：sejt
夸克链接：https://pan.quark.cn/s/1dd4f17b3504；提取码：yBRx
3、使用 SD 训练 IP 的流程和技巧（LoRA 篇）
先来介绍一下什么是 LoRA
大家刚接触 stable diffusion 时，会听到很多专业术语，其中 LoRA 模型必然是会被提及到的，那么什么是 LoRA 模型？它有什么作用呢？
LoRA 模型全称是：Low-Rank Adaptation of Large Language Models，能够了解为 Stable-Diffusion 中的一个插件，仅须要大量的数据就能够进行训练的一种模型。在生成图片时，LoRA 模型会与大模型联合应用，从而实现对输入图片后果的调整。
举个例子：大模型好比没有润饰过的人物、物品、场景、等；LoRA 模型好比是扭转人物、物品、场景等内容的形色质构的因素，但依然在大模型的底子下。当然 LoRA 模型不仅仅限度于人物，场景、动漫、格调。
1、训练环境的搭建
· 本地：可下载秋葉 SD trainer 训练器一键包
· 云端：AutoDL 云端配置，社区镜像中找到 Train 进行部署
2、训练集解决（图片解决 + 打标 + 训练参数）
· 图片解决
· 首先咱们须要筹备训练的 IP（也能够是：物品、场景、格调等），训练图的尺寸须要 对立 ，且以64 的倍数 设置：罕用分辨率为 512*512、512*768、768*1152。因为如果尺寸不对立或不是 64 的倍数，AI 在训练过程会对你的图片进行裁切，导致你想要的画面细节被裁减
· 其次咱们须要有 3 种类型的图：白底 IP 图 + 场景 IP 联合图 + 独自场景图，整个训练集的数量能够有多少筹备多少，越多越好（然而要保障差异性，反复的动作或角度须要剔除）
· 打标
· 当咱们筹备好须要 AI 训练的图当前咱们须要对这些训练图进行形容，可应用主动打标工具或手动打标（手动打标训练成果会更好），筹备一个 txt 文本（保障和你形容的图片命名一一对应），而后进行具体的形容，以下是我的一些举例：
· 在打标形容里须要留神格局：咱们罕用的格局是“触发词”+“自然语言”+“单词”，并且保障全程英文输出，包含标点符号
3、模型训练 & 参数设置
（注：这里的参数须要依据本身训练的 IP 或内容进行调优，存在是错老本，这里给大家科普一些根底）
· 补充 2 个概念：欠拟合、过拟合
· 过拟合：指 AI 只会生成你给他提供的训练集内容，比方 IP 动作、场景、元素、等
· 欠拟合：指 AI 生成的内容和你训练集的内容齐全没关联，或者说收敛性很差导致 IP 不像
· 基础训练参数
• repeat 次数（每张图训练的次数，次数不是越高越高，训练太多会导致过拟合，训练太少会导致欠拟合）
• epoch 训练轮数（训练集训练的轮数，轮数不是越高越好，训练太多会导致过拟合，训练太少会导致欠拟合）
• dim 值（dim 代表了训练的精度）
• alpha 值（alpha 用于管制模型复杂性和约束性，alpha 必须≤dim）
• learning rate、unet lr、text encoder lr（学习率决定模型学习的水平，影响训练成果，比方稳定性、泛化性、收敛性）
• 训练优化器（自适应优化器和非自适应，决定了 AI 学习节奏）
· 训练过程中的察看
· 须要察看训练的 Loss 值，Loss 值须要成递加状态（失常状态），曲线稳定不易较大。并且须要记录每一次训练的参数和 Loss 值来剖析后续模型调优的方向
4、模型测试
· 模型测试阶段，咱们须要启动 SD，并且使用 XYZ 轴来测试每个版本的模型搭配的 LoRA 权重，以及大模型，最终积淀出咱们最优版本的模型。
· 在测试阶段咱们须要围绕着 3 个外围的点：稳定性、泛化性、以及收敛性进行测试
· 稳定性：模型是不是在大多数 prompt 输出下，都可能呈现好的成果
· 泛化行：生成的内容是不是有 AI 翻新的内容（动作、场景、元素、等）
· 收敛性：生成的 IP 以及特色（或其余核心内容）是不是你想要的成果
4、使用 SD 稳固生成高质量 IP 海报
1、模型 & 提醒词
· 生成环境模型次要包含 3 类，底模、LoRA 模型、以及 VAE（能够了解为滤镜），咱们能够尝试各种不同的大模型，比方二次元的 anything、目前用的最多的 Rev、或者真人类的 real
· 提醒词分为 2 局部，正向词为你想要的内容，负向词代表你不想要的内容
· 正向词：会呈现 3 种类型：触发词 + 提醒词 +LoRA，越靠前的词汇权重就会越高
· 在生成出好的成果后大家能够对本人的 prompt 进行保留
2、采样形式
· 简略来说，这些采样器是算法，它们在每个步骤后获取生成的图像并将其与文本提醒申请的内容进行比拟，而后对噪声进行一些更改，直到它逐步达到与文本形容匹配的图像
· 罕用的采样器如：Euler a、DDIM、DPM++ 系列，能够依据本人模型来调整尝试出最好的参数
3、采样迭代步数
· SD 通过从充斥噪点的画布开始创立图像，而后逐步去噪以达到最终输入。Steps 就是管制这些去噪步骤的数量。通常，越高越好，但个别状况下，咱们应用的默认值是 20 个步骤，这其实曾经足以生成任何类型的图像
· 如果在测试新提醒心愿疾速失去现实的构图或后果，可应用 15-20steps
· 当找到确认的 seed 后，可将步骤减少到 20-30steps
4、面部修复
· 面部修复可改善脸部特这个以及细节，让人脸更天然和好看，倡议当找到确认的 seed 后关上
5、高清修复
· 通过应用算法,AI 能够首先在较低的分辨率下对图片进行局部渲染, 而后将其晋升到高分辨率，并在高分辨率下增加细节，倡议当找到确认的 seed 后关上。
· 罕用高清算法如：R-ESRGAN 4x++
6、重绘幅度
· 能够了解为 AI 在创作过程中的发散幅度，越高的值会带来越大的创意，反之会更精准。
7、随机种子
· Seed 能够了解为你生成图的身份 ID，每个生成图都有本人的 seed，当确认了根底构图以及想要的根底成果后锁定种子，从而实现微调
8、尺寸、批次、批数
· 尺寸：个别会以 64 的倍数去递增，罕用尺寸在后期确认 seed 之前会用到 512*768，512*512，等
· 生成批次、每批数量：每批、每次次生成的图像数量，倡议在后期找画面之前能够开大数量去抽卡，找到本人想要的画面，而后锁定 seed
9、点击生成，实现 IP 海报（记得记住 & 保留本人的参数模版）
到这里咱们整个流程就走完了，接下来咱们就能够一直的生成和翻新咱们的 IP 海报了
最初我想说在 AI 绘画畛域还有很多须要摸索和实际，将来我也会持续与大家分享更多有价值的内容，如果你也喜爱 AIGC 的摸索能够留言一起交换一起提高
作者：京东批发 徐仲巍
起源：京东云开发者社区 转载请注明起源