图生图(Image-to-Image)的工作流和其核心用途,包括风格转换、细节增强、清晰度提升、人脸和手部修复等多个方面。
图生图的主要用途: #
- 风格转绘:将现有图像转为其他风格,比如将写实人物变为动漫风格。
- 让画面更加丰富:增加图像细节,让画面更丰富。
- 提升图像的清晰度。
- 修复面部和手部。
- 扩充图像尺寸。
图生图的工作流搭建: #
1. 图像加载节点和 VAE 编码器 #
- 与文生图(Text-to-Image)类似,但增加了两个新节点:“图像加载”节点和 VAE 编码器。
- 图像加载节点用于加载图像,VAE 编码器将图像从像素空间转换到潜在空间。
- 将checkpiont加载器(简易) 的 VAE 和‘加载图片’节点中的图像 链接到VAE编码器上,将VAE编码器latent链接到K采样器节点的latent上,此时,空latent就不需要了。
2. 增加‘复制latent批次’节点 #
添加‘’’节点控制单次生成图片的数量
- 添加‘复制latent批次’节点,将其放在VAE编码器和K采样器之间
- 缩放方法选择默认,裁剪建议使用center(中心裁剪)的方式
3. K采样器 降噪参数的调整 #
降噪参数用于控制图像的重绘幅度。
- 降噪=denoising=重绘幅度,阈值在0 - 1 之间。
- 值越高,生成图像与原图相似度越低;值越低,相似度越高。适当调节降噪值可以实现保留原图特征的同时进行风格转换。
4. 添加‘图像缩放’节点 #
图像缩放节点控制生成图像的比例。
- 将图像缩放节点添加到‘加载图像’与‘VAE编码’之间
5. 生成后对比工具 #
图像对比节点可以直观展示原图和生成图之间的差异,让用户一目了然看到风格转换的效果。
- 管理器-节点管理-搜索rgthree,安装后,重启comfyUI
- 双击搜索-添加‘图像对比’节点
控制网(Control Net)的使用: #
控制网可以精细控制图像的结构和形状,确保在转换风格时保持人物的轮廓不变。添加 Control Net 应用模块和预处理器可以达到更精确的风格转换效果。
1. 选择合适的大模型: #
使用特定风格的大模型决定生成的图像风格,例如写实风格或动漫风格模型。选择合适的模型可以在最大程度上实现预期的转换效果。
2. ControlNet加载器和ControlNet应用 #
- 添加ControlNet加载器和ControlNet应用
- 大模型什么版本就选什么版本的控制网络模型版本,1.5和2.1版本是共通的,XL模型有专门的XL Controlnet
3. 添加预处理器 #
根据Controlnet对应的模型,添加对应的预处理器
自定义生成提示音: #
可以在节点中添加提示音功能,在生成完成后播放音效。通过自定义音频文件,还可以为生成过程添加个性化提示音。
- 添加“播放声音”节点
- 如果找不到,管理器-节点管理-搜索Custom Script - 安装重启
- 将输入链接到VAE解码图像上即可
- 如果声音不喜欢,则在 根目录 - custom nodes - custom scripts web - js - assets 添加声音mp3
最后一次修改于 2024-11-01