在之前的文章中,我们已经详细介绍了如何通过代码的方式使用ControlNet,但如果你希望以傻瓜的方式轻松生成AI图像,Stable Diffusion WebUI为你提供了一种简单的选择。本文将为你介绍如何在Stable Diffusion中以傻瓜的方式直接使用ControlNet来控制图像生成。
ControlNet:掌握AI图像生成的关键
如果你曾经使用过Stable Diffusion,你可能已经发现,图像的输出有着无限的可能性,就像赌博一样。即使你输入了复杂而精心设计的提示,控制AI的能力仍然有限。因此,我们需要一种方式来最大程度地控制生成的图像。
ControlNet是由斯坦福大学的研究人员开发的Stable Diffusion的扩展,它使创作者可以轻松地控制AI图像和视频中的对象。ControlNet可以根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成,它可以被概括为一种简单的稳定扩散微调方法。
安装ControlNet插件
在Stable Diffusion WebUI中,你可以轻松安装ControlNet插件,只需按照以下步骤操作:
使用ControlNet:简单而强大的控制工具
打开ControlNet标签后,你将能够在图像生成时获得更高的精度和更好的控制。下面我们将介绍ControlNet的主要功能以及如何使用它们:
提供手动创建绘图或草图的空白画布,不需要上传任何图像。
能够快速查看选择的预处理器是如何将上传的图像或绘图转换为ControlNet的检测图,这对于尝试不同预处理器非常有用。
ControlNet的主要选项,根据所需的输出,用户可以选择相应的控制方法。 下面我们介绍几个常用的ControlNet预处理器:
Canny边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息,但要注意,背景中的物体越少效果越好。用于此预处理器的最佳模型是control_sd15_canny。
这两个预处理器有助于生成输入图像的深度估计,用于控制图像内物体的空间定位。深度通常用于控制图像内物体的空间定位,但在大图像时可能会丢失一些细节。一般会与control_sd15_depth模型组合使用。要根据需要使用Midas Resolution函数来增加或减少detectmap中的大小和细节级别。
HED可以创建清晰和精细的边界,输出类似于Canny,但减少了噪声。它的有效性在于能够捕捉复杂的细节和轮廓,同时保留细节特征。用于此预处理器的最佳模型是control_sd15_hed。
MLSD适用于生成建筑和其他人造作品的轮廓,但不适用于非刚性或弯曲的物体。它适用于室内布局或建筑结构。用于此预处理器的最佳模型是control_sd15_mlsd。
法线图用于精确定位物体的粗糙度和光滑程度,能够突出复杂的细节和轮廓。用于此预处理器的最佳模型是control_sd15_normal。
OpenPose生成一个基本的骨骼火柴人形象,它常用于生成多个一致的主题。用于此预处理器的最佳模型是control_sd15_openpose。