看完这篇文章，你将学会以下无价之宝的内容
1、云端部署（配置不行的小伙伴看）+ 云端模型搁置地位
2、本地部署（配置达标的小伙伴看）
3、使用SD训练IP的流程和技巧（LoRA篇）
4、使用SD稳固生成高质量IP海报
家喻户晓，各大厂目前都在AIGC的畛域摸索实际，也有十分多的内部设计师制作了大量的AIGC相干授课，很多同学因为不分明具体能失去什么价值或者播种而进行了脚步。明天我来为大家分享一下通过理论摸索且落地的Stable diffusion的IP海报生成流程，内容很干请上车坐稳
先来看一下达达骑士IP的成果：
· 浅看一下IP海报生成过程
· V1模型生成
· V2模型生成
•V3模型生成
1、云端部署
应该有很多小伙伴苦于没有一个趁手的电脑配置，以及繁琐的本地配置，最终卡在了配置这个环节，明天我将带大家实现SD的云端部署，看完你就能完满的关上SD了
1、关上云端地址：https://www.autodl.com/home
1、注册登陆后，点击算力市场
2、抉择按量计费、内蒙A区（注：不要选北京区可能须要SHH企业关上的问题）
3、点击社区镜像
4、输出搜寻关键词vel，找到并抉择最新stable-diffusion镜像
5、点击立刻创立
6、命名本人的服务器，期待创立实现和开机
7、点击JupyterLab，进入MainUI.ipynb
8、左侧目录下，关上MainUI.ipynb，点击第一行代码区域，而后点击上方的“运行”三角，显示“挪动实现”后刷新页面
9、将右上角python 3，改为xl_env
10、点击第二行代码区域，而后点击上方的“运行”三角，期待功能模块呈现
11、抉择“启动WebUi”，而后勾选前4个罕用性能，点击运行WebUi，期待代码运行
12、当看到蓝色的URL时，则示意运行胜利了，而后返回AutoDL下本人的服务器
13、点击“自定义服务”，祝贺你胜利进入云端SD了
2、云端根底模型的搁置地位
1、大模型搁置地位：dutodl-tmp——stable-diffusion-webui——models——Stable-diffusion
2、lora搁置地位：dutodl-tmp——stable-diffusion-webui——models——Lora
3、VAE搁置地位：dutodl-tmp——stable-diffusion-webui——models——VAE
4、ControlNet模型搁置地位：dutodl-tmp——stable-diffusion-webui——extensions——sd-webui-controlnet——models
5、起手式地位：dutodl-tmp——stable-diffusion-webui
2、本地部署
秋葉Stable diffusion一键包
百度链接https://pan.baidu.com/s/1A4xSvlLHUJ8uplOc7WjZqg；提取码：sejt
夸克链接：https://pan.quark.cn/s/1dd4f17b3504；提取码：yBRx
3、使用SD训练IP的流程和技巧（LoRA篇）
先来介绍一下什么是LoRA
大家刚接触stable diffusion时，会听到很多专业术语，其中LoRA模型必然是会被提及到的，那么什么是LoRA模型？它有什么作用呢？
LoRA模型全称是：Low-Rank Adaptation of Large Language Models，能够了解为Stable-Diffusion中的一个插件，仅须要大量的数据就能够进行训练的一种模型。在生成图片时，LoRA模型会与大模型联合应用，从而实现对输入图片后果的调整。
举个例子：大模型好比没有润饰过的人物、物品、场景、等；LoRA模型好比是扭转人物、物品、场景等内容的形色质构的因素，但依然在大模型的底子下。当然LoRA模型不仅仅限度于人物，场景、动漫、格调。
1、训练环境的搭建
· 本地：可下载秋葉SD trainer训练器一键包
· 云端：AutoDL云端配置，社区镜像中找到Train进行部署
2、训练集解决（图片解决+打标+训练参数）
· 图片解决
· 首先咱们须要筹备训练的IP（也能够是：物品、场景、格调等），训练图的尺寸须要对立，且以64的倍数设置：罕用分辨率为512*512、512*768、768*1152。因为如果尺寸不对立或不是64的倍数，AI在训练过程会对你的图片进行裁切，导致你想要的画面细节被裁减
· 其次咱们须要有3种类型的图：白底IP图+场景IP联合图+独自场景图，整个训练集的数量能够有多少筹备多少，越多越好（然而要保障差异性，反复的动作或角度须要剔除）
· 打标
· 当咱们筹备好须要AI训练的图当前咱们须要对这些训练图进行形容，可应用主动打标工具或手动打标（手动打标训练成果会更好） ，筹备一个txt文本（保障和你形容的图片命名一一对应），而后进行具体的形容，以下是我的一些举例：
· 在打标形容里须要留神格局：咱们罕用的格局是“触发词”+“自然语言”+“单词”，并且保障全程英文输出，包含标点符号
3、模型训练&参数设置
（注：这里的参数须要依据本身训练的IP或内容进行调优，存在是错老本，这里给大家科普一些根底）
· 补充2个概念：欠拟合、过拟合
· 过拟合：指AI只会生成你给他提供的训练集内容，比方IP动作、场景、元素、等
· 欠拟合：指AI生成的内容和你训练集的内容齐全没关联，或者说收敛性很差导致IP不像
· 基础训练参数
• repeat次数（每张图训练的次数，次数不是越高越高，训练太多会导致过拟合，训练太少会导致欠拟合）
• epoch训练轮数（训练集训练的轮数，轮数不是越高越好，训练太多会导致过拟合，训练太少会导致欠拟合）
• dim值（dim代表了训练的精度）
• alpha值（alpha用于管制模型复杂性和约束性，alpha 必须≤dim）
• learning rate、unet lr、text encoder lr（学习率决定模型学习的水平，影响训练成果，比方稳定性、泛化性、收敛性）
• 训练优化器（自适应优化器和非自适应，决定了AI学习节奏）
· 训练过程中的察看
· 须要察看训练的Loss值，Loss值须要成递加状态（失常状态），曲线稳定不易较大。并且须要记录每一次训练的参数和Loss值来剖析后续模型调优的方向
4、模型测试
· 模型测试阶段，咱们须要启动SD，并且使用XYZ轴来测试每个版本的模型搭配的LoRA权重，以及大模型，最终积淀出咱们最优版本的模型。
· 在测试阶段咱们须要围绕着3个外围的点：稳定性、泛化性、以及收敛性进行测试
· 稳定性：模型是不是在大多数prompt输出下，都可能呈现好的成果
· 泛化行：生成的内容是不是有AI翻新的内容（动作、场景、元素、等）
· 收敛性：生成的IP以及特色（或其余核心内容）是不是你想要的成果
4、使用SD稳固生成高质量IP海报
1、模型&提醒词
· 生成环境模型次要包含3类，底模、LoRA模型、以及VAE（能够了解为滤镜），咱们能够尝试各种不同的大模型，比方二次元的anything、目前用的最多的Rev、或者真人类的real
· 提醒词分为2局部，正向词为你想要的内容，负向词代表你不想要的内容
· 正向词：会呈现3种类型：触发词+提醒词+LoRA，越靠前的词汇权重就会越高
· 在生成出好的成果后大家能够对本人的prompt进行保留
2、采样形式
· 简略来说，这些采样器是算法，它们在每个步骤后获取生成的图像并将其与文本提醒申请的内容进行比拟，而后对噪声进行一些更改，直到它逐步达到与文本形容匹配的图像
· 罕用的采样器如：Euler a、DDIM、DPM++系列，能够依据本人模型来调整尝试出最好的参数
3、采样迭代步数
· SD通过从充斥噪点的画布开始创立图像，而后逐步去噪以达到最终输入。Steps就是管制这些去噪步骤的数量。通常，越高越好，但个别状况下，咱们应用的默认值是20个步骤，这其实曾经足以生成任何类型的图像
· 如果在测试新提醒心愿疾速失去现实的构图或后果，可应用15-20steps
· 当找到确认的seed后，可将步骤减少到20-30steps
4、面部修复
· 面部修复可改善脸部特这个以及细节，让人脸更天然和好看，倡议当找到确认的seed后关上
5、高清修复
· 通过应用算法,AI能够首先在较低的分辨率下对图片进行局部渲染,而后将其晋升到高分辨率，并在高分辨率下增加细节，倡议当找到确认的seed后关上。
· 罕用高清算法如： R-ESRGAN 4x++
6、重绘幅度
· 能够了解为AI在创作过程中的发散幅度，越高的值会带来越大的创意，反之会更精准。
7、随机种子
· Seed能够了解为你生成图的身份ID，每个生成图都有本人的seed，当确认了根底构图以及想要的根底成果后锁定种子，从而实现微调
8、尺寸、批次、批数
· 尺寸：个别会以64的倍数去递增，罕用尺寸在后期确认seed之前会用到512*768，512*512，等
· 生成批次、每批数量：每批、每次次生成的图像数量，倡议在后期找画面之前能够开大数量去抽卡，找到本人想要的画面，而后锁定seed
9、点击生成，实现IP海报（记得记住&保留本人的参数模版）
到这里咱们整个流程就走完了，接下来咱们就能够一直的生成和翻新咱们的IP海报了
最初我想说在AI绘画畛域还有很多须要摸索和实际，将来我也会持续与大家分享更多有价值的内容，如果你也喜爱AIGC的摸索能够留言一起交换一起提高
作者：京东批发 徐仲巍
起源：京东云开发者社区 转载请注明起源