ComfyUI : une interface nodale pour l’intelligence artificielle

Accueil / Graphisme / ComfyUI : une interface nodale pour l’intelligence artificielle

Vous aimez les spaghetti ? ComfyUI est fait pour vous ! Conçu initialement pour faire tourner l’intelligence artificielle Stable Diffusion, il s’agit d’une interface à la logique nodale (procédurale) qui ressemble à ce qu’on a l’habitude d’utiliser dans Blender avec les GeoNodes, les matériaux, etc. Des boîtes de dialogues et des spaghettis de couleur pour les relier entre elles…

Sommaire

Confortable ?

Ce projet a été lancé par un développeur connu sous le pseudonyme de « comfyanonymous » sur GitHub. C’est fou cette propension des programmeurs à se cacher ! Sans doute pour tenter de dissimuler leurs forfaits…

Voilà bien encore un nom impossible ! Le terme « Comfy » (confortable en français) a probablement été choisi (en dehors du pseudo du développeur) pour suggérer une interface utilisateur agréable et facile à utiliser (!). Toutefois, de nombreux usagers trouvent que ComfyUI n’est pas particulièrement « confortable » ou facile à utiliser, surtout pour les débutants. Un utilisateur sur Reddit commente par exemple : « ComfyUI est la chose la moins conviviale que j’ai jamais vue de ma vie. » Quant à « UI« , c’est l’abréviation classique pour « User Interface » (interface utilisateur).

C’est en effet une interface web (locale) qui permet de lancer tout un tas de logiciels différents dont Flux.1 (ne tourne pas sur Mac) et bien sûr Stable Diffusion, au prix d’acrobaties concernant le modèle « safetensors » choisi (il y en a plein)… On peut installer Comfy directement (re-bon courage) ou, encore une fois, passer par Pinokio.

Tout commence donc par le modèle à utiliser. On peut en choisir tout un tas, munis de l’extension .safetensors, installés « a mano » dans le dossier « models » où se trouve votre installation. Je vous ai mis le chemin pour ne pas trop galérer…

Ainsi, on peut charger différents moteurs comme Flux1 et Flux Schnell (je n’ai pas réussi à les faire tourner sur mon PowerMac dernière génération – C’est vexant) mais aussi différentes version « customisées » de Stable Diffusion et leurs variantes.

Ensuite, il y a un node à remplir avec le « prompt » positif, un autre pour le négatif, un autre et d’autres encore, et relier tout çà ensemble… Sans parler des modèles « refiner », des upscaling, des Lora’s, des VAE, Image to Image, Outpainting, (vaches et cochons) et autres épices rares…

Un clic droit dans l’espace de travail permet d’accéder à l’arborescence des nodes (par centaines), pour installer de nouvelles fonctionnalités selon les besoins. Comme indiqué dans le manuel qui n’existe pas, « c’est très intuitif »… Enfin si, il y a un court guide en français ainsi que le site officiel et même un manuel… RTFM (read the fucking manual) ! 🙂 Je vous souhaite de belles nuits. Et que vos projets de meurtres rituels restent des fantasmes…

Quand tout est prêt, il « suffit » de cliquer sur le bouton « prompt queue » et d’être patient : chaque image peut prendre beaucoup de temps à être générée, en fonction de la puissance de vote carte graphique (GPU).

Rêve ou cauchemar ?

Mais, question qualité d’image, tout se passe au niveau du KSampler. En faisant varier la définition, lors de la prise en main du logiciel, j’ai fait rêver et même cauchemarder Stable Diffusion en obtenant ces images oniriques !

C’est en effet un peu par hasard que j’ai accouché de cette ambiance Art Nouveau, de ces daguerrotypes diaphanes de requins sur fond de réalisations en acier de Gustave Eiffel : un surréalisme à la Jérôme Bosh.

Encres de marine

Bien sûr, en chargeant d’autres modèles, on peut s’essayer à générer des images à l’encre style Gustave Doré, ou des visuels à l’encre à alcool, ou des lavis… A vous de jouer !

Et pour finir, quelques autres variations avec un prompt basique et en changeant les modèles .safetensors : young woman glamour with bandana red hair portrait, photo, 50mm, f1.4, natural light, Pathéchrome