第八部分:controlnet插件之 ControlNet参数介绍(中)
关注作者
一、预处理器和控制类型已知Controlnet可以通过控制某些图像特征来引导图像生成,那么,它可以控制哪些图像特征呢?---答案就在预处理器里面(如下图所示)。预处理器,预就是预先的意思,处理器就是对图片进行处理。所以预处理器的意思就是说,

一、预处理器和控制类型
已知Controlnet可以通过控制某些图像特征来引导图像生成,那么,它可以控制哪些图像特征呢?---答案就在预处理器里面(如下图所示)。

预处理器,预就是预先的意思,处理器就是对图片进行处理。所以预处理器的意思就是说,在图片生成之前,我们先对图片进行处理,然后再进入到生成的这个环节。
如下图所示,预处理器下拉里面有很多控制图像特征的类型供我们选择,比如有分块、涂鸦、姿势、硬边缘检测等。

但是预处理器的数据非常多,如果我们直接在这里进行选择的话,每次要定位我们想要的内容会比较困难。所以这个时候【控制类型】模块就可以派上用场了,控制类型模块其实就是对预处理器进行了分类,比如我控制类型模块选择了线稿之后,你再来看预处理器,就会发现里面的数据只显示和线稿 相关的内容了,可选性就大大加强。

另外注意,我们选择了预处理器,需要生成特征图时,需要点击右边的小爆炸按钮,也不要忘了把允许预览选项勾上噢。

二、Controlnet模型
前面我们学习Stable Diffusion基础知识的时候,也学习了不少模型的作用,如SD大模型、Lora模型、Embedding模型等,这些模型都可以让我们的Stable Diffusion掌握一个新能力,那controlnet模型也不例外。

我们再回顾一下ControlNet的工作流程:
1、首先,输入我们要参考的图片
2、选择我们需要控制的图片维度,也就是controlnet预训练的控制模型,如人体姿态控制、 线稿控制等
3、ControlNet会根据我们选择的控制模型,提取出图片中需要参考的特征
4、输入除特征外的其他提示词
5、结合输入的图片、提示词和参考特征,ControlNet进行理解和学习,最终输出结果图
预处理器和控制类型,就是让Controlnet学会提取出参考图片中我们想要的特征(以上第3点),那么接下来controlnet还需要对这张特征图进行理解和学习 (以上第5点),这一步就是模型在发挥作用,生成特征图后,模型接着就对特征图进行学习和理解,从而才可以生成我们想要的结果图。
如果我们没有选中模型,那么就算我们提取出来了特征图,生成的图片也不是我们想要的,因为没有了模型,也就意味着ControlNet缺失了对特征图的学习能力这一步骤。


不同模型之间有什么区别呢?其实就是他学习的深度或者学习的能力不同。
三、完整案例
1、首先,我们上传一个参考图。如何选择参考图呢,这要看你这次使用controlnet的目的是什么,比如我看到了一个图片的姿势非常好看,我想参考它来生成,比如我看到了一个图片的景深效果值得参考,也可以把它当作参考图。
2、选择控制类型
3、点击小爆炸按钮,就可以在预览器中看到被提取出来的特征图了。
我们在练习过程中,可以不同控制类型多尝试。

4、任意选中一个模型,要注意,如果这里没有选中模型,那么生成的效果图就和控制类型提取的特征图也是无关的。

5、输入提示词
请注意,在图生图中,我们生成的效果图会参考我们上传的参考图的各种信息。但是controlnet这里只会参考提取出来的特征图信息来进行出图,对于参考图其他信息进行忽略,所以提示词这里我们要对除了特征图以外我们想要的效果来进行提示词补充。

6、大模型、图片尺寸、迭代步数、生成数量这些基础信息的补充,这些在前面课程我们已经学过了,就不展开啦。

7、点击生成,查看效果

本节课总结:控制类型是对预处理器进行分类,预处理器是对图片不同的学习维度进行的分类,而模型的话,就是给了Stable Diffusion 对特征图学习的能力,这样子它才可以进行图片的生成。
暂无评论,快来抢沙发~
热门文章
相关推荐
Copyright 2026 aixinshou.cn 正在备案中
也留下自己的观点?