最新

ComfyUI 怎么用 ControlNet 控制画面构图

想让生成的图跟着参考姿势、线稿或深度走,就得挂 ControlNet。讲清模型和预处理器怎么配、强度怎么调,以及显存不够时怎么降。

只靠提示词,构图基本靠运气;加上 ControlNet,就能把参考图里的姿势、线稿、深度或者边缘结构搬进生成过程,出图的位置和比例可控得多。它不是一个开关,而是一套预处理器加模型的节点组合,配错了会出现画面发灰、线条僵硬,或者完全不听参考图的情况。

入口在哪

ComfyUI 没有单独的 ControlNet 页面,所有功能都在工作流画布上,靠节点串起来。

  • 模型文件:放在 ComfyUI 目录下的 models/controlnet,文件名带 1.5 或 XL 字样的对应不同底模,不能混用。
  • 预处理器:多数人装的是 ControlNet 辅助节点包,通过 Manager 搜索安装,装完重启才会出现在节点列表里。
  • 节点:在画布空白处右键添加节点,搜索加载图像、应用 ControlNet,以及对应的加载器。

不同整合包和版本的节点名称略有差别,记不住全名就直接搜关键词。

具体步骤

  1. 先定底模。1.5 和 XL 两代模型的 ControlNet 不通用,用哪套底模就下哪套。
  2. 把参考图接到加载图像节点,再接到预处理器。预处理器决定提取什么信息:边缘、深度、人体姿势、线稿各不相同。
  3. 预处理器后面接应用 ControlNet,再进采样器。注意接在正面提示词那条链上,接到负面等于没生效。
  4. 在应用节点里选刚下载的模型,预处理器和模型必须配对,边缘图就配边缘模型。
  5. 参考图和出图的长宽比保持一致,比例差太多,结构会被拉伸变形。
  6. 先按默认强度出几张,再调强度和起止步数百分比,一次只改一个参数。

几个坑

  • 预处理器和模型配错。用姿势图配边缘模型,结果通常是一团乱线。
  • 强度拉满。线条会发硬、颜色发灰,一般从中间值往上试,越接近顶部越贴参考图。
  • 参考图比例和出图不一致,人脸被拉长、建筑变形,很容易误判成模型坏了。
  • 叠加多个 ControlNet 时权重直接相加,两个都接近顶格,画面容易糊成一团。
  • 显存不够。分辨率开太高,或者同时挂三四个,会直接报显存不足,先把出图尺寸降下来。
  • 模型放错目录。放进底模文件夹,加载器列表里根本不会出现。

怎么验证

最直接的办法是做对照:同一个随机种子、同一段提示词,先关掉 ControlNet 出一张,再开到最强出一张。两张图的结构差异明显,说明链路是通的。

再做配对验证:强度调到最高、结束步数设到百分之百,看输出是否严格贴合参考图。贴不上,就回头检查预处理器输出的预览图是不是对的;预览图本身就错,后面怎么调都没用。

最后看节点有没有变红或者报错,红色通常意味着模型没找到,或者输入没接上。

常见问题

模型要放在哪个文件夹

统一放 models/controlnet,不要放进底模或者微调的目录。放完刷新节点列表,加载器里能选到就说明路径对了。

只装模型不装预处理器行不行

可以。用现成的边缘图、深度图或者姿势图时,直接接图不需要预处理器。但拿照片当参考,就必须先过预处理器把信息提出来。

一张图能不能同时挂多个

能,串联多个应用节点即可,一个管姿势、一个管边缘是常见组合。代价是显存和时长翻倍,权重也要往下压,否则几个约束互相打架。

一句话总结:ControlNet 的关键不是开不开,而是预处理器和模型配不配、参考图比例对不对、强度敢不敢往下调。