ControlNet en ComfyUI: Tutorial Completo

ControlNet es probablemente la extensión más importante para generación de imágenes con IA. Te permite controlar la composición, pose, profundidad, y estructura de tus generaciones con precisión milimétrica.

En este tutorial te muestro cómo configurar y usar ControlNet en ComfyUI desde cero.

¿Qué es ControlNet?

ControlNet es un conjunto de modelos que agregan condiciones adicionales al proceso de generación. En lugar de solo texto, podés usar:

• Pose: Posición del cuerpo y articulaciones
• Canny: Bordes y contornos
• Depth: Información de profundidad
• Lineart: Líneas de dibujo
• Scribble: Bocetos simples
• Normal: Mapas de normales para 3D

Instalación

1. Descargar Modelos ControlNet

Los modelos están en Hugging Face:

1. Visitá lllyasviel/ControlNet-v1-1
2. Descargá los modelos que necesités (ej: control_v11p_sd15_openpose.pth)
3. Colocalos en ComfyUI/models/controlnet/

2. Preprocesadores

Necesitás instalar el nodo de preprocesadores:

1. Abrí ComfyUI Manager
2. Buscá "ControlNet Aux" o "ComfyUI-Controlnet-Aux"
3. Instalá y reiniciá ComfyUI

Tipos de ControlNet

OpenPose (Pose)

Detecta y replica poses humanas:

• Uso: Mantener pose específica de referencia
• Preprocesador: OpenPose Preprocessor
• Modelo: control_v11p_sd15_openpose
• Ideal para: Retratos, fotos de cuerpo completo

Canny (Bordes)

Detecta bordes y contornos:

• Uso: Mantener estructura y forma general
• Preprocesador: Canny Edge Preprocessor
• Modelo: control_v11p_sd15_canny
• Ideal para: Arquitectura, productos, mantener formas

Depth (Profundidad)

Usa información de profundidad:

• Uso: Mantener perspectiva y distancia
• Preprocesador: Midas Depth Preprocessor
• Modelo: control_v11f1p_sd15_depth
• Ideal para: Escenas complejas, interiores

Lineart

Convierte a líneas de dibujo:

• Uso: Colorear dibujos, mantener líneas
• Preprocesador: Lineart Preprocessor
• Modelo: control_v11p_sd15_lineart
• Ideal para: Ilustraciones, anime, colorización

Workflow Básico en ComfyUI

1. Cargar la Imagen de Referencia

• Nodo: Load Image
• Cargá la imagen que querés usar como referencia

2. Preprocesar la Imagen

• Nodo: [Tipo] Preprocessor (ej: OpenPose, Canny, etc.)
• Conectá la imagen
• Ajustá parámetros si es necesario

3. Cargar ControlNet

• Nodo: Load ControlNet Model
• Seleccioná el modelo correspondiente

4. Aplicar ControlNet

• Nodo: Apply ControlNet
• Conectá:
  • conditioning (del CLIP Text Encode positivo)
  • control_net (del Load ControlNet)
  • image (del preprocesador)
• strength: 0.5-1.0 (cuánto influye el control)

5. Conectar al Flujo Principal

La salida del Apply ControlNet va donde normalmente iría el conditioning positivo en el KSampler.

Parámetros Importantes

Strength (Fuerza)

• 1.0: Seguimiento estricto (puede verse artificial)
• 0.7-0.8: Buen balance (recomendado)
• 0.5: Influencia suave
• < 0.5: Casi imperceptible

Start/End Percent

Cuándo aplica el control durante el sampling:

• start: 0, end: 1: Todo el proceso
• start: 0, end: 0.5: Solo al principio (estructura base)
• start: 0.5, end: 1: Solo al final (detalles)

Combinando Múltiples ControlNets

Podés usar varios ControlNets al mismo tiempo:

OpenPose (strength 0.8) + Canny (strength 0.5)
= Pose exacta + estructura general

Conectá en cadena: el output de un Apply ControlNet va al conditioning del siguiente.

Tips Avanzados

Preprocesador vs Imagen Directa

Podés crear tus propias imágenes de control:

• Dibujá un esqueleto de pose en Photoshop
• Creá un mapa de profundidad manual
• Usá renders 3D para depth maps

ControlNet para SDXL y FLUX

Modelos más nuevos tienen sus propias versiones de ControlNet:

• SDXL: Descargá modelos específicos para SDXL
• FLUX: Buscá FLUX ControlNets en Hugging Face

Inpainting con ControlNet

Combiná máscara de inpainting + ControlNet para ediciones precisas en áreas específicas.

Casos de Uso Prácticos

Fotografía de Producto

1. Fotografiá el producto con tu celular
2. Usá Canny para mantener la forma exacta
3. Generá nuevos fondos y estilos

Consistencia de Personajes

1. Generá tu personaje base
2. Usá OpenPose para diferentes poses
3. Mantené el mismo prompt para consistencia

Arquitectura

1. Bocetá o usá foto de referencia
2. Aplicá Lineart o Canny
3. Generá renders con diferentes estilos

Solución de Problemas

"ControlNet no tiene efecto"

• Verificá que el strength no esté muy bajo
• Asegurate de que la imagen preprocesada tenga contenido visible
• Chequeá que estés usando el modelo correcto para el preprocesador

"Imagen muy parecida a la referencia"

• Bajá el strength
• Reducí el end_percent
• Usá un preprocesador más abstracto (scribble en vez de canny)

Próximos Pasos

• Cómo usar LoRAs en ComfyUI
• FLUX en ComfyUI
• Guía completa de ComfyUI