ComfyUI 实战：初探工作流

最近体验了一下 ComfyUI。作为刚入门的新手，把一些我在配置和运行复杂图像生成工作流中的实践经验记录下来。

环境搭建：基础设施与依赖项

在深入工作流程之前，需要先搭建正确的环境。这涉及安装一些 ComfyUI 基础版中未包含的额外节点：

1. ComfyUI-Manager：用于管理和安装各种自定义节点的实用工具。
2. comfyui_controlnet_aux：执行 ControlNet 相关操作的核心组件。
3. rgthree 的 ComfyUI 节点：扩展工作流功能的自定义节点集，尤其适用于 LoRA 操作。

提示：加载新工作流时，务必检查节点类型是否齐全。ComfyUI 界面会对缺失组件发出警告。

模型与输入文件准备

最耗时但至关重要的步骤是下载所有必需的模型和输入文件。以下是本次生图工作流所需资源的详细清单，包括下载链接和对应的存储路径：

1. SDXL 模型：

   • 模型：LeoSam's HelloWorld XL
   • 下载地址：https://civitai.com/models/43977/leosams-helloworld-xl
   • 存储路径：ComfyUI/models/checkpoints/

2. VAE 模型：

   • 模型：SDXL VAE
   • 下载地址：https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensors
   • 存储路径：ComfyUI/models/vae/

3. 输入图像：

   • 下载地址：https://images.adsttc.com/media/images/66f4/468f/4003/1872/a2d3/8141/slideshow/house-in-shunde-multi-architecture_1.jpg
   • 存储路径：ComfyUI/input/

4. ControlNet 模型：
   a. 草图控制用 T2I-Adapter：

   • 下载地址：https://huggingface.co/TencentARC/t2i-adapter-sketch-sdxl-1.0/tree/main
   • 存储路径：ComfyUI/models/controlnet/TencentARC/t2i-adapter-sketch-sdxl-1.0/diffusion_pytorch_model.fp16.safetensors

   b. 深度估计用 SAI XL Depth LoRA：

   • 下载地址：https://huggingface.co/lllyasviel/sd_control_collection/resolve/7cf256327b341fedc82e00b0d7fb5481ad693210/sai_xl_depth_256lora.safetensors
   • 存储路径：ComfyUI/models/controlnet/sai_xl_depth_256lora.safetensors

5. 超分辨率模型：

   • 模型：4x-UltraSharp
   • 下载地址：https://huggingface.co/lokCX/4x-Ultrasharp/blob/main/4x-UltraSharp.pth
   • 存储路径：ComfyUI/models/upscale_models/

注意：如果 ComfyUI 安装中没有上述目录，则需要手动创建。

工作流程执行

完成准备工作后，我们开始执行工作流程。以下是观察到的一些现象：

1. 执行时间：首次运行整个流程耗时约 383.24 秒，后续运行仅需 106 秒。这种显著的性能提升主要得益于缓存机制和 GPU 预热。

2. 工作流复杂度：该生图工作流涉及多个复杂步骤，包括图像预处理、ControlNet 引导、SDXL 推理和超分辨率处理。

3. 资源消耗：请注意，特别是在处理高分辨率输入或输出时，该流程会导致 GPU 使用率和内存消耗激增。

经验总结与优化方向

1. 充分准备至关重要：提前准备好所有模型和输入文件可大幅减少故障排除时间。请仔细核对文件路径！

2. LoRA 实验：虽然本次运行未使用 LoRA 模型，但将其纳入未来实验计划中，以探索进一步提升生图效果的可能性。

3. 性能优化：如需进行多次迭代，建议优化工作流程以加快后续运行速度。考虑使用模型量化、批处理等技术。