ComfyUI désigne une interface nodale qui orchestre Stable Diffusion pour produire des images et des animations sans écrire de code. Les workflows pré-construits servent de charpente : ils donnent accès à des techniques avancées et réduisent le temps de réglage. Ils couvrent des usages image, vidéo, audio, 3D, avec des variantes pour créer, transformer, restaurer ou enrichir des contenus. L’exécution locale protège la confidentialité des assets, évite la dépendance à une API et laisse la main sur les modèles, les versions et le matériel. Voici un top 10 de workflows ComfyUI pour passer vite à des rendus aboutis.
Workflow 1 : Flux dev – Génération texte-image haute qualité
la génération texte-image pour des visuels destinés à la communication, au brand content et aux maquettes produit. Il se distingue par une qualité de rendu qui place Flux parmi les références récentes de la diffusion. La mise en place passe par l’ajout de fichiers de modèle et d’encodeurs texte dans les dossiers ComfyUI prévus à cet effet.
- Fichiers requis : flux1-dev.safetensors, t5xxl_fp16.safetensors, clip_l.safetensors.
- Emplacements : ComfyUI/models/diffusion_models/ et ComfyUI/models/text_encoders/.
- Option fp8 : Réduction de la mémoire, avec une baisse de qualité.
- Option checkpoint : Chargement via « Load Checkpoint » avec CFG à 1.0.
Workflow 2 : Flux schnell – Génération rapide en 4 étapes
les itérations express, quand l’objectif vise le volume d’essais plutôt que le rendu final. Sa distillation en 4 étapes accélère le cycle prompt → image et facilite le prototypage de directions artistiques. Il convient aux GPU modestes ou aux sessions où chaque minute compte.
- Modèle distillé : Sortie en 4 steps pour gagner en cadence.
- Fichier principal : flux1-schnell.safetensors dans ComfyUI/models/unet/.
- Alternative checkpoint : Version à placer dans ComfyUI/models/checkpoints/.
- Compromis : Vitesse supérieure contre finesse parfois moindre.
Workflow 3 : Stable diffusion 3.5 – Modèles dernière génération
réduire les écarts entre intention créative et sortie finale. Il propose trois variantes qui adressent des besoins distincts, du studio à la machine grand public. Il s’appuie sur des déclinaisons fp16 et fp8, avec un arbitrage direct entre confort matériel et performance.
- Large : 8 milliards de paramètres, usage professionnel, résolution autour de 1 MP.
- Large turbo : Modèle distillé en 4 étapes, orienté vitesse et production.
- Medium : 2,5 milliards de paramètres, 0,25 à 2 MP, ciblé hardware consommateur.
- Prérequis : clip_g.safetensors, clip_l.safetensors, t5xxl_fp16.safetensors, et licence communautaire selon revenus et usages.
Workflow 4 : Sdxl avec raffineur – Génération à 1024×1024
un pipeline en deux étapes, avec un modèle base puis un raffineur. Il sert de point de départ solide dès qu’un rendu haute résolution devient la norme du projet.
- Étape 1 : SDXL base pose la composition et les masses visuelles.
- Étape 2 : SDXL refiner densifie les détails et stabilise les textures.
- Bénéfices : Meilleure cohérence visuelle et rendu plus précis.
- Starter : Workflow par défaut, idéal pour une première chaîne SDXL.
Workflow 5 : Img2img – Transformation d’images existantes
Le réglage de denoising strength pilote tout : faible valeur pour des variations, valeur élevée pour une métamorphose. Il diffère de l’inpainting, car il agit sur l’ensemble de l’image plutôt que sur une zone masquée.
- Entrée : N’importe quelle image sert de base.
- Réglage central : Denoising strength définit l’ampleur de la transformation.
- Cas d’usage : Variations de visuels à partir d’un original validé.
- Cas d’usage : Re-stylisation ou changement radical de direction graphique.
Workflow 6 : Inpainting – Modification de zones spécifiques
la retouche locale : il remplace, corrige ou reconstruit une partie d’image sans toucher au reste. ComfyUI intègre MaskEditor, accessible via un clic droit dans le nœud « Load Image », pour peindre le masque. Il se distingue de l’outpainting, qui étend l’image vers l’extérieur au lieu de modifier une zone interne.
- Geste utilisateur : Masquer la zone puis piloter la génération via le prompt.
- Cas d’usage : Correction d’erreurs et suppression d’artefacts.
- Cas d’usage : Affinage local d’un visage, d’un logo, d’un objet.
- Référence : Workflows exemple d’inpainting et d’outpainting disponibles.
Workflow 7 : Controlnet – Contrôle structurel précis
un guidage structurel pour conserver une composition, des contours ou une géométrie imposée, tout en laissant de la latitude créative. Dans ComfyUI, le workflow part d’une image source, applique un preprocessor, puis sélectionne un modèle via un nœud Multi-ControlNet Stack. Le multi-ControlNet permet des combinaisons exigeantes, par exemple structure + profondeur, pour des résultats plus régis.
- Exemples : Canny, Depth, Pose, selon le type de contrainte recherché.
- Options Flux : Variantes ControlNet en full model ou en LoRA.
- Flux dev : Application de LoRA ControlNet directement sur le modèle.
- XLab ControlNets : Alternatives pour d’autres architectures, avec respect des contours et profondeurs.
Workflow 8 : Upscaling – Augmentation de résolution
augmenter la résolution par 2 ou plus pour livrer un visuel exploitable en print, e-commerce ou présentation. ComfyUI propose deux familles complémentaires, avec ESRGAN côté super-résolution classique et le latent upscale côté diffusion. L’upscaling consomme du temps et de la VRAM, ce qui impose une discipline sur la taille des batchs et les résolutions cibles.
- ESRGAN : Modèle d’upscaling disponible dans l’écosystème ComfyUI.
- Latent upscale : Génération en petit format puis agrandissement dans l’espace latent.
- Prompt à l’upscale : « Latent Upscale with different prompt models » enrichit les détails via un nouveau prompt.
- Bénéfices : Détails renforcés et qualité perçue plus élevée.
Workflow 9 : Hunyuan 3d – Génération de modèles 3D
transforme un texte ou une image en asset 3D, utile pour passer du concept à un objet exploitable sans modélisation longue. Il annonce une génération en 10 à 25 secondes avec géométrie et textures, ce qui change le rythme des itérations. L’écosystème vise l’édition, l’animation et l’export, ce qui facilite l’intégration dans un pipeline de production.
- Types d’assets : Objets, personnages, environnements.
- Domaines : Gaming, animation, VR, e-commerce, éducation.
- Chaîne de valeur : Outils orientés édition, animation et export d’assets.
- Exemple : Workflow avancé « multi-view generation » disponible dans ComfyUI.
Workflow 10 : Video generation (Van 2.2 ou Hunyuan video) – Animations et vidéos courtes
la génération vidéo native via plusieurs modèles, dont VAN 2.2, Mochi, Lightricks LTX-Video et Hunyuan Video. Le workflow VAN 2.2 « vidéo generation with first/last frame » fixe l’ouverture et la fermeture, ce qui stabilise le récit visuel d’un plan court. La génération locale apporte vitesse, confidentialité et flexibilité face à des services externes.
- Modèles : VAN 2.2, Mochi, LTX-Video, Hunyuan Video.
- First/last frame : Contrôle des images d’ouverture et de fermeture.
- Intégration : Compatibilité avec les pipelines ComfyUI existants pour des compositions multi-media.
- Limites : Durée, fps et ressources matérielles bornent les ambitions sur une machine locale.
