ComfyUI 怎么用 ControlNet 控制画面构图
想让生成的图跟着参考姿势、线稿或深度走,就得挂 ControlNet。讲清模型和预处理器怎么配、强度怎么调,以及显存不够时怎么降。
只靠提示词,构图基本靠运气;加上 ControlNet,就能把参考图里的姿势、线稿、深度或者边缘结构搬进生成过程,出图的位置和比例可控得多。它不是一个开关,而是一套预处理器加模型的节点组合,配错了会出现画面发灰、线条僵硬,或者完全不听参考图的情况。
入口在哪
ComfyUI 没有单独的 ControlNet 页面,所有功能都在工作流画布上,靠节点串起来。
- 模型文件:放在 ComfyUI 目录下的
models/controlnet,文件名带 1.5 或 XL 字样的对应不同底模,不能混用。 - 预处理器:多数人装的是 ControlNet 辅助节点包,通过 Manager 搜索安装,装完重启才会出现在节点列表里。
- 节点:在画布空白处右键添加节点,搜索加载图像、应用 ControlNet,以及对应的加载器。
不同整合包和版本的节点名称略有差别,记不住全名就直接搜关键词。
具体步骤
- 先定底模。1.5 和 XL 两代模型的 ControlNet 不通用,用哪套底模就下哪套。
- 把参考图接到加载图像节点,再接到预处理器。预处理器决定提取什么信息:边缘、深度、人体姿势、线稿各不相同。
- 预处理器后面接应用 ControlNet,再进采样器。注意接在正面提示词那条链上,接到负面等于没生效。
- 在应用节点里选刚下载的模型,预处理器和模型必须配对,边缘图就配边缘模型。
- 参考图和出图的长宽比保持一致,比例差太多,结构会被拉伸变形。
- 先按默认强度出几张,再调强度和起止步数百分比,一次只改一个参数。
几个坑
- 预处理器和模型配错。用姿势图配边缘模型,结果通常是一团乱线。
- 强度拉满。线条会发硬、颜色发灰,一般从中间值往上试,越接近顶部越贴参考图。
- 参考图比例和出图不一致,人脸被拉长、建筑变形,很容易误判成模型坏了。
- 叠加多个 ControlNet 时权重直接相加,两个都接近顶格,画面容易糊成一团。
- 显存不够。分辨率开太高,或者同时挂三四个,会直接报显存不足,先把出图尺寸降下来。
- 模型放错目录。放进底模文件夹,加载器列表里根本不会出现。
怎么验证
最直接的办法是做对照:同一个随机种子、同一段提示词,先关掉 ControlNet 出一张,再开到最强出一张。两张图的结构差异明显,说明链路是通的。
再做配对验证:强度调到最高、结束步数设到百分之百,看输出是否严格贴合参考图。贴不上,就回头检查预处理器输出的预览图是不是对的;预览图本身就错,后面怎么调都没用。
最后看节点有没有变红或者报错,红色通常意味着模型没找到,或者输入没接上。
常见问题
模型要放在哪个文件夹
统一放 models/controlnet,不要放进底模或者微调的目录。放完刷新节点列表,加载器里能选到就说明路径对了。
只装模型不装预处理器行不行
可以。用现成的边缘图、深度图或者姿势图时,直接接图不需要预处理器。但拿照片当参考,就必须先过预处理器把信息提出来。
一张图能不能同时挂多个
能,串联多个应用节点即可,一个管姿势、一个管边缘是常见组合。代价是显存和时长翻倍,权重也要往下压,否则几个约束互相打架。
一句话总结:ControlNet 的关键不是开不开,而是预处理器和模型配不配、参考图比例对不对、强度敢不敢往下调。