共计 3014 个字符，预计需要花费 8 分钟才能阅读完成。
置信大家曾经感触到 AI 绘画的魅力，多多少少也能够自称半个「prompt 小专家」了，而在 AI 绘画的时候 Stable Diffusion 也会呈现一些小瑕疵，比方 AI 不是灵魂画「手」，还有一些特地的肢体动作也不是普通人能够用语言形容分明的。这个时候，就轮到 ControlNet 出场啦！
通过 ControlNet 技术，你增加额定条件来管制扩散模型的生成。它的原理简略来说是给预训练扩散模型减少一个额定的输出，以管制它生成的细节，这里的额定的输出，包含人体姿态、着色和风格化、草图、建筑物等，也就是能够通过给定的图片提取管制信息，以生成绝对应的图片。
具体来说，咱们能够:
将卡通绘图转化为真切的照片，同时放弃极佳的布局连贯性。
进行室内设计。
| 原图 | 新图 |
|---|---|
| <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/house_depth.png?x-oss-process=style/resize-h-300″ width=300/> | <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/house_after.jpeg?x-oss-process=style/resize-h-300″ width=300/> |
将涂鸦草图变成艺术作品。
| 原图 | 新图 |
|---|---|
| <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/drawing_before.png?x-oss-process=style/resize-h-300″ width=300/> | <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/drawing_after.jpeg?x-oss-process=style/resize-h-300″ width=300/> |
甚至拟人化驰名的 logo 形象。
| 原图 | 新图 |
|---|---|
| <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/starbucks_logo.jpeg?x-oss-process=style/resize-h-300″ width=300/> | <img class=”mx-auto” src=”https://man-archives.oss-cn-hangzhou.aliyuncs.com/goofan/starbucks_after.png?x-oss-process=style/resize-h-300″ width=300/> |
ControlNet，让所有皆有可能 🌠。
更多具体的对于 ControlNet 微调，能够查看咱们的博客文章: 应用 diffusers 训练你本人的 ControlNet 🧨。
JAX/Diffusers 社区冲刺 🚀 流动
为了帮忙更好地应用 ControlNet 摸索 AI 绘画（说不定能够做视频生成的模型呢），咱们在寰球社区联结 Google Cloud 一起举办了这次 🚀 JAX / Diffusers 社区冲刺流动。
除此之外，咱们还会联结各个反对社区以及合作伙伴为参赛者提供一系列的反对：
- 咱们将于 4 月 17 日举办技术讲座，邀请来自 Google、Hugging Face 以及开源社区的顶尖科学家和工程师分享他们的教训
- 参赛者将有机会收费应用 Google Cloud 提供的 TPU 拜访权限（资源无限、请务必先报名加入）
- 与其余开发者独特摸索 JAX 和 Diffusers 以及生成式 AI 的有限可能
- 在国内举办线下的交流活动等…
还等什么，快来加入吧！🔥
报名链接：https://bit.ly/jax-diffusers
上面是流动详细情况，请留神，这次流动倡议各位组队参赛，并且须要自备稳固的外网拜访网络。
🌐 流动流程
- 我的项目探讨 ：3 月底开始，开发者们能够在 Discord 社区中提出与扩散模型相干的创意。大家能够自行组队或者在社区里与其他人组队，最初组成 3 到 5 人的团队，独特参加冲刺流动。4 月 10 日 截止报名！
- 讲座工夫 ：4 月 17 日，咱们将邀请来自 Google、Hugging Face 和 diffusion 开源社区的顶尖科学家和工程师分享贵重教训，请务必加入！咱们还打算在 4 月 13 日、14 日进行其余主题的分享，敬请关注！
- 冲刺阶段 ：每个团队将取得从 4 月 14 日到 5 月 1 日的收费 TPU v4-8 VM 拜访权限。咱们将提供训练样本，以便您更好地启动我的项目。冲刺完结时，优秀作品将取得丰富奖品！
🏅️流动处分
在社区冲刺完结时，每个提交的作品将由评审团进行评估，前 3 名将取得奖品。
📅 重要工夫节点
流动工夫：2023 年 3 月 29 日到 2023 年 5 月 8 日
- 3 月 29 日: 流动公布，报名开始（请确保填写报名表）
- 4 月 3 日: 自行组建、或者在 Discord 上和其他人组成 3 到 5 人的团队独特参加
- 4 月 10 日: 参赛团队开始为期一周的数据收集、探讨等工作
- 4 月 14 日 ~ 5 月 1 日: 提供 Google Cloud 收费 TPU 拜访权限，开始冲刺 (4.14 – 4.17 发放 TPU 资源)
- 5 月 1 日: 敞开 TPU 拜访权限
- 5 月 8 日: 我的项目展现
📨 流动交换形式
因为本流动面向寰球开发者，请大家优先在 Hugging Face 的 Discord 群探讨，退出地址为: hf.co/join/discord
报名胜利后，你将取得更多频道的拜访权限，包含技术支持的频道（如果报名胜利三天后还没有被邀请退出，请通过微信群，或者 在官网的流动帖子下方留言 通知咱们）。
这是一个凋谢的流动，为了确保更多人能够从你的问题中失去灵感以及解决问题的方法，咱们欢送将对于 Flax / JAX、Diffusers、数据集等问题通过公开渠道进行交换，或者在咱们的论坛上详细描述问题，并将帖子发在 Discord 频道与大家交换:
- 与 Flax 相干的内容能够在 Flax GitHub 仓库的 Issue 区和 Discussion 区 探讨；
- JAX 相干问题和探讨；
- 🤗 Diffusers 相干的 Issue 和讨论区；
- 🤗 Datasets 相干的 Issue 和 讨论区；
- 你也能够在咱们的 Discord 群里与大家探讨我的项目创意
#jax-diffusers-ideas、取得 TPU 方面的反对#jax-diffusers-tpu-support以及在#jax-diffusers-sprint交换任意对于本次冲刺流动的探讨； - 查看官网此次流动的具体告诉和介绍。
咱们也为国内参加的用户建设了一个微信群，请扫描上面二维码退出:
群聊免责申明
- 请只探讨与群聊主题相干的内容，勿探讨任何违反法律和 Hugging Face 社区规定的内容
- 咱们会十分踊跃的清理发送垃圾信息和违规内容的群成员，如果您认为本人被误伤，请向群主和管理员提出异议
- 请勿在群内无端批量增加好友，一经发现，咱们将永恒禁止你参加任何咱们的流动，如果你发现自己的隐衷被进犯，请间接拨打 110 报警
🔥 报名加入
https://bit.ly/jax-diffusers
合作伙伴
流动的胜利离不开社区里泛滥合作伙伴的反对，特别感谢以下团队 / 社区对本次流动的反对和帮忙！
- 奇绩创坛
- Datawhale
- M 小姐研习录
