1. ComfyUI工作流：SD3.5与ControlNet的模糊引导图生图实践

最近在测试Stable Diffusion 3.5（SD3.5）与ControlNet结合使用时，发现通过模糊引导图（blurred guidance image）进行图生图（img2img）能产生意想不到的效果。这种技术特别适合需要保留原始构图但改变风格的场景，比如将手绘线稿转化为写实图像，或者给老照片上色时保持原始光影结构。下面我就详细拆解这个工作流的搭建过程，分享几个实战中总结的关键技巧。

2. 环境准备与基础配置

2.1 ComfyUI的安装与优化

推荐使用秋叶的整合包进行快速部署，这个版本已经预装了常用的插件和模型。如果从零开始安装，需要注意几个关键点：

1. Python版本建议3.10.x，避免使用3.11及以上版本可能出现的兼容性问题
2. 安装时务必添加--extra-index-url https://download.pytorch.org/whl/cu118参数确保正确安装CUDA版本的PyTorch
3. 对于显存小于8GB的设备（比如GTX 1060），需要在启动脚本中添加--medvram参数

常见问题：如果遇到"VAE is invalid"错误，通常是因为模型文件不完整，重新下载对应的vae文件即可解决。

2.2 模型文件准备

这个工作流需要以下核心模型：

• SD3.5基础模型（推荐使用sd_xl_base_1.0.safetensors）
• ControlNet模型（本例使用control_v11p_sd15_openpose.pth）
• 对应的VAE文件（通常随模型包提供）

模型文件应放置在：

ComfyUI/models/checkpoints/ # 主模型 ComfyUI/models/controlnet/ # ControlNet模型 ComfyUI/models/vae/ # VAE文件

3. 核心工作流搭建

3.1 基础节点连接逻辑

在ComfyUI中构建工作流时，按照以下顺序连接节点：

1. 图像输入节点：加载原始图片和模糊引导图
2. ControlNet预处理节点：对引导图进行模糊处理（高斯模糊半径建议15-25px）
3. SD3.5加载节点：配置基础模型和VAE
4. ControlNet应用节点：将处理后的引导图与主模型连接
5. 采样器节点：推荐使用DPM++ 2M Karras，步数20-30
6. 图像输出节点：保存生成结果

# 模糊处理的典型参数（在ControlNet预处理节点中设置） { "blur_radius": 20, "blur_sigma": 10, "threshold_low": 0.1, "threshold_high": 0.9 }

3.2 模糊引导的关键参数

模糊引导图的质量直接影响最终效果，需要特别注意：

1. 模糊程度：太强会导致细节丢失，太弱则控制效果不足。建议：

   • 人像：半径15-20px
   • 风景：半径20-30px
   • 建筑：半径25-35px

2. 引导强度（Control Weight）：

   • 初始生成：0.8-1.2
   • 精细调整：0.4-0.7

3. 开始/结束控制时机：

   • 开始步数（Start）：通常0.0
   • 结束步数（End）：0.6-0.8效果最佳

4. 实战技巧与问题排查

4.1 提升生成质量的5个技巧

1. 渐进式模糊：先使用大半径模糊（30px）生成基础构图，再用小半径（10px）细化细节
2. 多重ControlNet：可以同时使用模糊引导+边缘检测（Canny）进行复合控制
3. 动态权重调整：在采样器中使用ControlNetAdvanced节点实现权重的动态变化
4. 局部重绘：对生成结果不满意的部分，使用遮罩单独处理
5. 提示词配合：在模糊引导下，提示词应更侧重风格描述而非内容描述

4.2 常见问题解决方案

5. 高级应用场景

5.1 老照片修复工作流

结合模糊引导可以实现智能修复：

1. 对破损老照片进行轻度模糊（半径10px）作为引导
2. 使用"old photo, high detail, clean"等提示词
3. Control Weight设为0.5-0.7保持原始构图
4. 最后用GFPGAN进行面部增强

5.2 艺术风格转换

将素描转为油画风格的工作流：

1. 原始线稿进行中等模糊（半径15px）
2. 提示词示例："oil painting, Rembrandt style, rich colors"
3. 使用artistic类型的VAE增强风格化效果
4. 采样时增加0.1-0.2的噪声注入提升艺术感

5.3 动画制作辅助

对于动画中间帧生成：

1. 将前后关键帧混合后模糊处理
2. 设置Control Weight=1.0保持动作连贯性
3. 使用temporal类LoRA保持角色一致性
4. 输出序列后使用DAIN插件补帧

我在实际使用中发现，模糊引导最适合处理需要保持大体结构但改变细节的场景。相比直接使用原始图像引导，模糊处理能避免过度复制原图的缺陷，给模型更多创作空间。一个实用小技巧：当生成结果出现局部扭曲时，可以只对该区域对应的引导图部分降低模糊强度，实现精准控制。