Dans la famille des moteurs d’Intelligence artificielle « Text to image », rares sont ceux qui sont du domaine public. Nous avons déjà vu le dernier né « Flux.1« , considéré comme le meilleur à l’heure actuelle. Mais il ne faut pas oublier Stable Diffusion sorti il y a quelques années et qui constitue le coeur d’une kyrielle de moteurs d’IA encore très « modernes » et qui omettent pudiquement de préciser cette filiation…

Stable Diffusion dans Fooocus

C’est un moteur très au point qui bénéficie d’une large communauté et de quantité d’addons sous forme de modèles, de « Lora’s » et autres diableries. Et les résultats qu’il offre, quand on sait bien s’en servir, sont très compétitifs avec les nouveaux moteurs (Flux.1, Ideogram.2, Midjourney 6.1, Leonardo)… Et je ne parle pas de Dall-E d’Open AI, complètement dépassé, et lancé depuis Chat GPT 4 et, dans l’environnement Windows, par Bing ou Copilot…

Toute la question consiste à installer le bazar (sous Linux), avec tout un tas d’autres logiciels associés (HomeBrew, MiniConda, PyTorch et leurs amis) avec les dépendances et configurations qui vont avec.

Mais heureusement, un logiciel est apparu qui permet de faire fonctionner Stable Diffusion en local et même sur Mac (même si c’est très lent). L’outil s’appelle Fooocus (oui, avec 3 O).

C’est une interface web, à la fois très simple et très complète, puisqu’on y retrouve toutes les fonctionnalités des autres logiciels payants : la fonction « describe », les possibilités d’impainting ET d’outpainting, Image To Prompt, insertion de Lora’s (et même de plusieurs, ensemble), choix de modèles « safe.tensors », upscaling et des dizaines d’autres fonctions et modèles prédéfinis.

Sur Pinokio, choisir parmi les dizaines de logiciels installables, Fooocus. Et allez vous faire un café (allongé). Parce que c’est très long.

On peut installer Fooocus directement (prévoir une frontale, un tournevis et une boîte de Valium) ou passer par un « installeur d’installeur » sous la forme de Pinokio qui se change de toute la basse besogne et que nous avons déjà vu.

Sur mon PowerMac M2 Silicon, et avec 12 Go de VRAM GPU, ça marche mais il faut compter plusieurs minutes pour chaque image générée.

Le logiciel se présente comme une interface web (WebUI) mais en local (2 aspirines si ça vous lance…) Blague à part, c’est très simple et bien conçu avec, pour une fois, une interface compréhensible et à plusieurs niveaux de complexification gigognes et progressifs.

A l’ouverture, voici ce qu’on obtient : un prompt et c’est tout ! Les trois boutons du bas permettent alors, si besoin, de faire apparaître d’autres réglages plus avancés.

Notament l’onglet style avec une tripotée de préréglages de styles justement (sans doute des Lora‘s pré-installés) pour varier les plaisirs. Ne cherchez pas, les rendus type « Léonard de Vinci » n’y sont pas. Le secret de ces rendus est plus compliqué. De toute façon, ces préréglages posent des problèmes de droits d’auteur puisqu’ils s’inspirent d’oeuvres existantes : vos « créations » seront donc du plagiat…

Aller plus vite avec Google Collab !

On peut bien sûr louer du temps machine sur le « Cloud » et faire appel aux nombreuses interfaces diponibles, ravies de vous racketter à coups d’abonnements et autres formules ruineuses sur le long terme.

Mais j’ai cherché une autre solution et découvert qu’il était possible de lancer aussi cette usine à gaz, Fooocus – Stable Diffusion sur Google Collab ! Un drôle de truc, une interface pour programmeurs qui est gratuite un certain temps, sans qu’on sache combien, et qui s’arrête au bout d’un moment ce qui vous dirige vers une solution payante ; ou alors vous devez vous résigner à revenir le lendemain. Mais ça marche tout le temps ! Et on peut quand même générer une vingtaine d’images de grande qualité.

Il faut pour cela ouvrir un script sur Collab et pour gagner du temps, voici le lien. De rien, ça me fait plaisir 🙂

Il faut alors charger le script Fooocus avec le bouton idoine. Les puristes auront reconnu le langage Python (y’en a ! 🙂 ) Etre patient : Google charge sur votre espace un certain nombre de dépendances et de fichiers qui disparaîtront d’ailleurs à la fermeture de la fenêtre. C’est un passage obligé.

Il suffit ensuite de lancer Gradio (lien en bas) pour accéder à l’interface web (WebUI) de Fooocus. Et donc de pourvoir travailler avec Stable Diffusion. Petite subtilité : si vous souhaitez ajouter des Lora’s ou des models ou tout autre fichier, vous pouvez les télécharger temporairement dans l’arborescence des fichiers à gauche. De la même façon que sur l’application « de bureau » sauf qu’il disparaîtront à la fermeture de session. Opération à recommencer à chaque fois mais c’est plutôt rapide (Google en a une plus grosse que vous – de carte graphique !)

A delante !

Pour les essais, j’ai une nouvelle fois ouvert les carnets secrets de Léonard de Vinci. Mais si, rappelez-vous, ceux découverts dans le grenier de la maison de campagne de l’ami de mon cousin Robert. Ils sont d’ailleurs illisibles, étant écrits à l’envers ! Mais je n’avais que l’embarras du choix, même si Robert m’avait mis en garde par un sentencieux :

– Gaffe quand même, c’est du Vinci…

– On s’en fish !

Cachalot, quoi !

La génération de ces images avec Google Collab est très rapide (moins d’une minute) et c’est un vrai confort !

Le temps des masques

Toujours dans la série « les carnets secrets de Léonard de Vinci » je me suis laissé aller à la création de masques faciaux (à vendre sur Le Bon Groin). La renaissance de la plongée ! 🙂

Enfin, pour achever cette série, voici trois autres inventions très peu connues du grand Léonard.

Dans le même esprit, j’ai demandé au logiciels Fooocus et Stable Diffusion, avec le prompt idoine (genre « style cyberpunk ») d’accoucher de surpresseurs de gaz à la mode de Jules Verne…

Autres solutions en local

Finalement, il existe beaucoup de solutions sur Windaube, Linux ou MacOS pour installer et utiliser Stable Diffusion. Le plus souvent en ligne (rapide mais souvent payant) et pour quelques-unes, en local (utilisables sans connection). Parmi ces dernières :

• Forge (bon courage)
• ComfyUI (une interface nodale que je décrirais prochainement)
• DrawThings (MacOS). Je viens de le découvrir mais ceci est une autre histoire… 🙂

Pour résumer : Stable Diffusion, derrière son nom de marque invendable et de son logo bidon, est une intelligence artificielle de grande qualité avec toutes les fonctions qu’on est en droit d’attendre. C’est aussi un logiciel libre qui n’attend plus que vous !

Autres articles :

Stable Diffusion 3.5 : avec style !

Poursuivons la découverte de Stable Diffusion 3.5, moteur d’intelligence artificielle « text to image » qui vient...

Stable Diffusion 3.5 !

Ce sont les grandes manoeuvres dans le monde des générateurs « text to image » ces derniers...

Eclairage volumétrique dans Blender avec de la vidéo !

Eclairage volumétrique… En 3D, il existe plein de façon d’éclairer les scènes. Les plus communes...

Google Nik Collection : c’est encore Noël !

L’info, qui date de mars 2016, m’avait échappée : Google a racheté la célèbre suite...

Comparatif des différentes IA d’imagerie avec le même prompt

Dans le pilotage des LLM (large Language Models), le prompt (les instructions textuelles) est la...

Fractales : des arbres de Pythagore avec Blender

Pour générer des fractales il n’y avait pas jusqu’à présent trente six solutions : il...