关于前端:给想玩AIGC的小白教你从0搭一个图文视频生成网站附插件源码

30次阅读

共计 3552 个字符,预计需要花费 9 分钟才能阅读完成。

👉腾小云导读

Stable Diffusion 的公布是 AI 图像生成倒退过程中的一个里程碑,相当于给公众提供了一个可用的高性能模型,让「AI 文本图片生成」变成普通人也能玩转的技术。最近一些网友将网上的真人图片一直喂给模型,让其自主学习,训练进去的成果曾经能够做到以假乱真——你甚至不晓得哪些图片是 AI 生成的还是真人拍进去的。你感兴趣吗?明天这篇文章从零开始,手把手教你如何搭建本人的真人 AI 网站。强烈建议珍藏(不论是否吃灰)。

👉看目录,点珍藏

1. 搭建你本人的 AI 网站

2. 模型下载

3. 汉化插件下载

4. 生成你的真人图片

4.1 生成真人图片

4.2 不同格调图片生成

4.3 动画视频生成

5. 让你生成的图片闭口谈话

01、搭建你本人的 AI 网站

本篇咱们将单刀直入教各位最快搭建出一个品质不错的 AI 网站,如果各位想理解相干的原理、技术点,能够留言通知咱们。下文会提及的 模型、插件和源码 ,咱们也一并提前为各位整顿~ 点击下方公众号卡片,进入回复「AI 网站」即可支付。

第一步,咱们能够间接应用 GitHub 仓库:

stable-diffusion-webui。

首先,在电脑上装置 python 3.10.6,如果曾经装置了其余 python 版本,能够利用 conda 装置多一个 3.10 的虚拟环境版本:

conda create -n novelai python==3.10.6

接下来下载该仓库的代码:

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

再装置对应的 GPU 版本的 Pytorch,间接进入网站:

https://pytorch.org/get-started/locally/,复制对应的命令。

进入刚刚创立的虚拟环境”novelai“:

执行刚刚的命令:

./python -m pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

装置胜利后,能够测试本人的 pytorch 版本是否能够跑通。

进入刚刚下载的 Github 仓库的代码文件夹,装置第三方依赖:

python -m pip install -r requirements.txt

02、模型下载

有了网站之后,就须要下载对应的 AI 模型进行无效生成。一些网友曾经利用网上大量的图片训练好的模型,并分享到网站上。咱们举个例子:

https://civitai.com/

这个赫赫有名的网站被人们称为「C 站」,外面有很多你意想不到的模型。

能够在这个网站上找到很多曾经训练好的模型。例如找一个生成真人图片的模型:ChilloutMix。从网页上下载对应的模型后,把该模型放到工程目录:models/Stable-diffusion。

03、汉化插件下载

stable-diffusion-webui 这个我的项目还反对下载第三方插件。例如咱们能够下载对应的汉化插件。其下载地址如下:

https://github.com/dtlnor/stable-diffusion-webui-localization-zh\_CN

登陆下面网站后,就能够下载插件的安装包:

而后将文件解压放到 extensions 目录下:

接着,就须要对网页进行重启服务:

在扩大这里,把插件勾上:

在“设置”选项里,找到 zh\_CN,最初须要重新启动网页,就能够失效了:

04、生成你的真人图片

启动主程序 ”launch.py”,期待肯定的工夫呈现网页地址就能够了。

关上网址时,有时候可能模型没有更新。因而能够尝试一下屡次重启。须要抉择刚刚下载的模型:ChilloutMix。

这样就曾经实现后期的部署工作了。接下来具体教大家怎么生成本人想要的图片。

4.1 生成真人图片

在 c 站上,曾经有很多大神利用 promt 生成图片了,因而咱们就能够对这些进行参考。例如找一个难看的图片,对上面的 Prompt 词语进行复制:

其中 Prompt 词语放在提醒词框内,消极 Prompt 词语放在对应的方框内。同时调整对应的参数,最初就能够生成真人图片:


4.2 不同格调图片生成

在 C 站上,还有很多 Lora 模型能够进行下载。这是一种能够帮忙你调整画风的小模型。次要是放到 Prompt 中进行应用。例如咱们能够在网站上下载原神的 Lora 模型:

‍下载实现后,把模型放到 models/Lora 门路下:

依照图片下的步骤,选中模型后,会看到具体的 Prompt 在方框内了:

把步骤 4.1 中的 Prompt 词语退出到这里,就能够生成一个原神格调的图片:


4.3 动画视频生成

首先须要装置插件 “deforum” 这个插件可能依据多个生成的图片结构成视频动画。

https://github.com/deforum-art/deforum-for-automatic1111-webui

在以后 stable-diffusion 目录下,执行上面命令,就会发现 extensions 多了新的插件:

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

同时重启新的网页,会发现多了 deforum 这个选项:

能够先执行简略的生成,在提醒词上,曾经默认填写了语句:

{  
    "0": "tiny cute swamp bunny, highly detailed, intricate, ultra hd, sharp photo, crepuscular rays, in focus, by tomasz alen kopera",  
    "30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong",  
    "60": "a beautiful coconut --neg photo, realistic",  
    "90": "a beautiful durian, trending on Artstation"  
}

最初生成进去的视频如下:

Prompt 词语模板解释如下:

//Abstracted Example  
{  
    "0": "Prompt A --neg NegPompt"  
    "12": "Prompt B"   
}

其中“0”和“12”提醒在插值中解析的关键帧。Prompt A 和 B 是必定提醒,NegPrompt 是否定提醒。当然,也能够间接用下面 C 站下载下来的模型,生成真人动画。

05、让你生成的图片闭口谈话

从下面咱们曾经失去了生成的图片。那么就能够利用这张图片,创立本人的 AI 谈话视频。登陆这个网址:

https://studio.d-id.com/

抉择刚刚生成的图片,而后输出本人想要说的话,之后生成就能够了:

最初就能够失去比拟真切的真人 AI 谈话视频了。

有了这个技术,就能够批量制作二次元甚至是真人谈话视频。这对于 AICG 这个行业是一个颠覆性的技术,置信将来这个技术在多个畛域上都可能推广开来。点下方卡片进入公众号,在后盾回复「AI 网站」,即可 0 门槛支付本文所述模型、插件和源码。 快来展现你的搭建成绩吧~

以上是本次分享全部内容,欢送大家在评论区分享交换。如果感觉内容有用,欢送转发~

-End-

原创作者|李洛勤

技术责编|李洛勤

最近无论是火爆的 GPT 智能文本生成模型,还是 Diffusion Model(GLIDE、DALLE2、Imagen 等)智能图片生成模型,AIGC 畛域给人惊喜一直。它应用深度学习算法,从大量的数据中学习模式,以创立高质量的文本、音频、图像和视频。在《这波能够,终于有内行人把 GPT-4 说透了》《TVP 专家夜聊:不必 ChatGPT 的开发都该被炒掉》两篇中,咱们探讨了「GPT 们」的倒退对程序员的影响——会取代程序员吗?各位程序员敌人们给出了精彩的答复:

AIGC 深度学习模型不断完善、开源模式的推动、大模型摸索商业化的可能,成为让其倒退的加速度。总体来说,咱们看到了 AIGC 在将来更可能是与人类单干的模式。人类能够借助 AI 技术进行创作和生产,进步生产效率和品质。

“你还能想到 AIGC 什么利用形式?ta 还能帮忙程序员做什么?“

欢送在评论区聊一聊你的认识。在 4 月 12 日前将你的评论记录截图,发送给腾讯云开发者公众号后盾,可支付腾讯云「开发者秋季限定红包封面」一个,数量无限先到先得😄。咱们还将选取点赞量最高的 1 位敌人,送出腾讯 QQ 公仔 1 个。4 月 12 日中午 12 点开奖。快邀请你的开发者敌人们一起来参加吧!

关注公众号并点亮星标 不错过更多鹅厂学习资源

公众号回复「AI 网站」,支付本文模型、插件和源码

正文完
 0