图生图基础工作流搭建+人物转绘+Controlnet线稿应用

Finder / 2024-11-01


图生图(Image-to-Image)的工作流和其核心用途,包括风格转换、细节增强、清晰度提升、人脸和手部修复等多个方面。

图生图的主要用途 #

  • 风格转绘:将现有图像转为其他风格,比如将写实人物变为动漫风格。
  • 让画面更加丰富:增加图像细节,让画面更丰富。
  • 提升图像的清晰度。
  • 修复面部和手部。
  • 扩充图像尺寸。

图生图的工作流搭建 #

1. 图像加载节点和 VAE 编码器 #

  • 与文生图(Text-to-Image)类似,但增加了两个新节点:“图像加载”节点和 VAE 编码器。
  • 图像加载节点用于加载图像,VAE 编码器将图像从像素空间转换到潜在空间。
  • 将checkpiont加载器(简易) 的 VAE 和‘加载图片’节点中的图像 链接到VAE编码器上,将VAE编码器latent链接到K采样器节点的latent上,此时,空latent就不需要了。

2. 增加‘复制latent批次’节点 #

添加‘’’节点控制单次生成图片的数量

  • 添加‘复制latent批次’节点,将其放在VAE编码器和K采样器之间
  • 缩放方法选择默认,裁剪建议使用center(中心裁剪)的方式

3. K采样器 降噪参数的调整 #

降噪参数用于控制图像的重绘幅度。

  • 降噪=denoising=重绘幅度,阈值在0 - 1 之间。
  • 值越高,生成图像与原图相似度越低;值越低,相似度越高。适当调节降噪值可以实现保留原图特征的同时进行风格转换。

4. 添加‘图像缩放’节点 #

图像缩放节点控制生成图像的比例。

  • 将图像缩放节点添加到‘加载图像’与‘VAE编码’之间

5. 生成后对比工具 #

图像对比节点可以直观展示原图和生成图之间的差异,让用户一目了然看到风格转换的效果。

  • 管理器-节点管理-搜索rgthree,安装后,重启comfyUI
  • 双击搜索-添加‘图像对比’节点

控制网(Control Net)的使用 #

控制网可以精细控制图像的结构和形状,确保在转换风格时保持人物的轮廓不变。添加 Control Net 应用模块和预处理器可以达到更精确的风格转换效果。

1. 选择合适的大模型 #

使用特定风格的大模型决定生成的图像风格,例如写实风格或动漫风格模型。选择合适的模型可以在最大程度上实现预期的转换效果。

2. ControlNet加载器和ControlNet应用 #

  • 添加ControlNet加载器和ControlNet应用
  • 大模型什么版本就选什么版本的控制网络模型版本,1.5和2.1版本是共通的,XL模型有专门的XL Controlnet

3. 添加预处理器 #

根据Controlnet对应的模型,添加对应的预处理器

自定义生成提示音 #

可以在节点中添加提示音功能,在生成完成后播放音效。通过自定义音频文件,还可以为生成过程添加个性化提示音。

  • 添加“播放声音”节点
  • 如果找不到,管理器-节点管理-搜索Custom Script - 安装重启
  • 将输入链接到VAE解码图像上即可
  • 如果声音不喜欢,则在 根目录 - custom nodes - custom scripts web - js - assets 添加声音mp3
#Stable Diffusion 系统课 #ComfyUI #AI

最后一次修改于 2024-11-01