Tutorial ComfyUI ControlNet: Generacion guiada de imagenes

Quieres generar una imagen que siga exactamente la estructura de una foto de referencia? Eso es lo que hace ControlNet — extrae los bordes, pose o profundidad de una imagen y los usa como guia para la generacion. Este tutorial te muestra como configurarlo en ComfyUI.

ComfyUI image generation workflow

Que vas a construir

Un workflow que:

Carga una imagen de referencia (foto de producto, boceto arquitectonico, retrato)
Extrae la estructura de bordes usando deteccion de bordes Canny
Genera una nueva imagen guiada por esos bordes + tu prompt de texto
Se ejecuta 100% localmente — sin nube, sin costes de API

Casos de uso: Visualizacion de productos, renderizado arquitectonico, contenido consistente con la marca, transferencia de estilo.

Requisitos previos

ComfyUI instalado (App de escritorio o manual)
Checkpoint Stable Diffusion de Stability AI (ej: sd_xl_base_1.0.safetensors)
Modelo ControlNet (ej: control-lora-canny-rank256.safetensors) — consulta la coleccion ControlNet en HuggingFace
ComfyUI ControlNet Aux: instalar via ComfyUI Manager

flowchart LR
    INPUT["Input Image"] --> CN["ControlNet<br/>Preprocessor"]
    CN --> COND["Conditioning"]
    PROMPT["Text Prompt"] --> COND
    COND --> SAMPLER["KSampler"]
    SAMPLER --> OUTPUT["Generated Image"]
    
    style INPUT fill:#1E293B,color:#FAFAFA
    style CN fill:#F5A623,color:#0B1628
    style OUTPUT fill:#059669,color:#FAFAFA

El Workflow (11 Nodos)

Imagen referencia → Deteccion bordes Canny → ControlNet Apply
                                                  ↓
Prompt texto → CLIP Encode ──────────────→ KSampler → VAE Decode → Guardar
                                                  ↑
Checkpoint → Modelo + VAE ────────────────────────┘

Configuracion nodo por nodo

#	Nodo	Configuracion
1	CheckpointLoaderSimple	Selecciona tu checkpoint SDXL o SD 1.5
2	ControlNetLoader	Carga `control-lora-canny-rank256.safetensors`
3	LoadImage	Sube tu imagen de referencia
4	CannyEdgePreprocessor	low_threshold: 100, high_threshold: 200, resolution: 1024
5	CLIPTextEncode (positivo)	Tu prompt: “foto profesional de producto, iluminacion de estudio”
6	CLIPTextEncode (negativo)	“borroso, baja calidad, marca de agua, texto”
7	ControlNetApplyAdvanced	strength: 0.8, start_percent: 0, end_percent: 1.0
8	EmptyLatentImage	width: 1024, height: 1024, batch_size: 1
9	KSampler	steps: 25, cfg: 7.5, sampler: euler_ancestral, scheduler: normal
10	VAEDecode	Conectar a la salida del KSampler
11	SaveImage	filename_prefix: “controlnet_“

Parametros clave

Parametro	Que hace	Recomendado
strength (ControlNet)	Cuanto seguir la guia de bordes	0.7-0.9 estructura, 0.3-0.5 guia suave
low_threshold (Canny)	Sensibilidad minima de bordes	100 (defecto)
high_threshold (Canny)	Sensibilidad maxima de bordes	200 (defecto)
cfg (KSampler)	Cuanto seguir el prompt de texto	7-8 equilibrado, 10+ estricto

Consejos para mejores resultados

Empieza con ControlNet fuerte (0.8+) y reduce si el resultado parece rigido
Usa dibujos lineales o fotos de arquitectura como referencia — bordes limpios funcionan mejor
Iguala la resolucion: si tu referencia es 1024x1024, configura EmptyLatentImage a 1024x1024
Experimenta con tipos de ControlNet: Canny (bordes), Depth (3D), Pose (humano), Scribble (bocetos)
Modelos SDXL producen mayor calidad que SD 1.5 pero necesitan mas VRAM (6+ GB)

Descargar el Workflow

Archivo JSON listo para importar:

Descargar vorlux_controlnet_canny_guided.json →

Importar en ComfyUI: Load Workflow → Upload File.

Requisitos de hardware

Hardware	VRAM	Velocidad	Calidad
Mac Mini M4 (24GB)	24GB unificada	~30s/imagen	Excelente
RTX 4060 Ti (16GB)	16GB	~15s/imagen	Excelente
RTX 3090 (24GB)	24GB	~10s/imagen	Excelente

Resultado esperado

Si has seguido todos los pasos correctamente, al pulsar Queue Prompt en ComfyUI deberas ver lo siguiente:

Mapa de bordes Canny: En la vista previa del nodo CannyEdgePreprocessor aparecera una imagen en blanco y negro con las lineas de contorno de tu imagen de referencia. Si la imagen esta demasiado limpia (pocos bordes) o demasiado ruidosa (todo lleno de lineas), ajusta low_threshold y high_threshold.
Imagen generada: La salida del nodo SaveImage mostrara una imagen nueva que respeta la estructura y composicion de tu referencia pero con el estilo, color e iluminacion definidos por tu prompt de texto. Por ejemplo, si usaste una foto de un edificio como referencia y el prompt “edificio futurista, estilo cyberpunk, neon, lluvia”, veras la misma silueta arquitectonica transformada en estetica cyberpunk.
Tiempo de generacion: Con los parametros recomendados (25 steps, 1024x1024), espera entre 10 y 45 segundos dependiendo de tu hardware (consulta la tabla de requisitos arriba).

La imagen resultante debe mantener las proporciones y bordes principales de la referencia. Si la estructura se pierde demasiado, sube el strength de ControlNet a 0.9. Si el resultado se ve demasiado rigido o “pegado” a la referencia, bajalo a 0.5-0.6.

Consejos avanzados para mejores resultados

Combina dos ControlNets: Usa Canny (bordes) + Depth (profundidad) a la vez para obtener imagenes que respeten tanto la silueta como la perspectiva 3D de tu referencia. Conecta ambos con ControlNetApplyAdvanced en cadena, con strength de 0.6 cada uno.
Usa el parametro end_percent estrategicamente: Configurar end_percent: 0.7 en lugar de 1.0 permite que ControlNet guie las primeras fases de la generacion (estructura) y luego “suelte” el control, dando mas libertad creativa al modelo en los detalles finales. Esto produce resultados mas naturales y menos artificiales.

Recursos relacionados

Biblioteca de 230 Workflows — explora todos incluyendo 92 de ComfyUI
Catalogo de Modelos IA — encuentra modelos Stable Diffusion y FLUX
Stack de Software — ComfyUI en nuestro stack
Contacto — necesitas ayuda configurando ComfyUI?

Fuentes:

Lecturas relacionadas

¿Listo para empezar?

VORLUX AI ayuda a empresas españolas y europeas a desplegar soluciones de IA que se quedan en tu hardware, bajo tu control. Ya necesites despliegue de IA en edge, integración LMS o consultoría de cumplimiento con la Ley de IA de la UE — podemos ayudarte.

Reserva una consulta gratuita para hablar de tu estrategia de IA, o explora nuestros servicios para ver cómo trabajamos.

Tutorial ComfyUI ControlNet: Generacion guiada de imagenes con deteccion de bordes