Draw Things, l’arme absolue de l’intelligence artificielle ?

Accueil / Graphisme / Draw Things, l’arme absolue de l’intelligence artificielle ?

Je ne sais pas comment ils s’y prennent mais, une fois de plus, on dispose sur Mac (et en appli iOS) d’un extraordinaire logiciel pour générer des images de synthèse à partir d’un texte – « Text to Image : c’est DrawThings. Et pour une fois, pas de subtilité dans le titre qui signifie littéralement « dessiner des trucs ».

Sommaire

L’arme absolue ?

Aussi incroyable que cela puisse paraître, on peut faire fonctionner, et rapidement, les derniers moteurs du domaine public (Flux, Stable Diffusion…) en local (hors ligne) sur MacOS, certes, mais aussi sur iPhone et iPad ! Une preuve de plus, s’il en était besoin, de la suprématie des interfaces et des bibliothèques de programmation sur MacOS…

DrawThings est capable d’utiliser un grand nombre de modèles dont Stable Diffusion (avec de nombreux parfums dont le « turbo »), Flux.1 Dev et Flux Schnell (rapide). C’est extraordinaire parce que outre l’interface claire (on est habitués sur Mac), cette solution est incroyablement rapide et fonctionne également sur iPhone en local ! Il faut avoir la capacité bien sûr car on doit télécharger sur son téléphone les modèles, Loras et autres fichiers de configuration pesant des dizaines de Go…

De nombreux modèles sont à télécharger, en plus des versions de bases et plus ou moins customisées, de quoi s’y perdre. D’autant qu’ils pèsent, nous l’avons déjà dit des dizaines de Go. Tout augmente…

Pas beaucoup d’informations sur le fonctionnement mais, comme toujours, il existe un « Discord » sur le sujet pour apprendre, échanger, et une doc officielle… Pour mesurer la complexité des fonctions du logiciel, et comprendre toutes les subtilités de l’interface, on consultera également à profit cette série de vidéos Youtoupe en anglais avec un fort accent asiatique…

En effet, au fil de la prise en main, on se rend compte de l’incroyable achèvement de ce logiciel, oeuvre d’un seul homme et gratuit (petit mais il fait le maximum). En fait, DrawThings fait tout ce que fait la concurrence mais mieux et plus rapidement ! Et il dispose même de fonctionnalités plus élaborées voire carrément uniques.

Liu est approuvé !

DrawThings a été créée par Liu Liu, un développeur indépendant basé à San Francisco. C’est une application de génération d’images par intelligence artificielle conçue pour fonctionner localement sur les appareils Apple.

L’objectif principal de DrawThings est de permettre aux utilisateurs de faire fonctionner le populaire générateur d’images libre Stable Diffusion (mais pas seulement : Flux.1 Dev et Flux Schnell tournent parfaitement) directement sur leurs appareils iOS et Mac, sans avoir besoin d’un ordinateur puissant avec un GPU performant. Comme quoi c’était possible…

Pour les amateurs, l’auteur se livre d’ailleurs ici dans ce podcast.

Une interface simple mais puissante

Au fil de son développement, DrawThings a intégré plusieurs fonctionnalités importantes :

La possibilité de créer des images à partir de descriptions textuelles en quelques minutes.
Le support de multiples modèles de génération d’images, chacun optimisé pour des styles spécifiques.
La capacité d’importer des modèles personnalisés ou de les télécharger depuis des bibliothèques en ligne.
Des options avancées comme l’inpainting et l’outpainting pour reconstruire ou modifier des parties d’images existantes.
Un fonctionnement entièrement hors ligne pour protéger la confidentialité des utilisateurs.
La possibilité d’utiliser des modèles de style et des LoRA.
La possibilité d’entraîner des LoRA’s en local !
Des outils de contrôle comme ControlNet et Image to Image. Fonctionnalités que nous passerons en revue plus tard…
Le dessin à main levée (avec gros doigts) pour générer ensuite une image !

DrawThings se distingue surtout par sa gestion des images générées. Entre autres fonctionnalités, toutes les images sont stockées dans un seul dossier (à spécifier) tout en gardant (on ne sait comment) un historique de toutes ces images avec tous leurs réglages (à droite), accessibles en un clic ! Il est possible de créer des dossiers différents pour chaque projet.

Les « prompts » positifs et négatifs sont décomposés en mots clé, phonèmes et abréviations réutilisables à tout moment. Encore plus fort : une barre réglable (flèche rouge) permet d’explorer tout l’historique des « prompts » utilisés et modifiés, au fil de la création.

Sur iPhone aussi !

L’interface sur smartphone est forcément simplifiée tout en restant parfaitement fonctionnelle. J’ai pu ainsi générer des images en position « effondré sur canapé » avec un simple iPhone 13 Pro Max (minimum iOS 15.4) avec, c’est vrai, beaucoup de mémoire. Et un abonnement Apple Cloud pour le stockage.

Les résultats laissent sans voix… Je rappelle que ces images sont générées sans aucune connection WiFi ou 3,4,5 G mais uniquement en local avec les ressources embarquées du téléphone !

Vapeurs et casse pipe

Dans la foulée, je me suis lâché du côté des machines à vapeurs, compresseurs et autres usines à gaz. Les premières avec Flux, les autres avec Stable Diffusion (v.1, v.2, XL, Turbo…)

: Flux.1

: Flux.1

Tirer le portrait

Les représentations humaines sont bien entendu les plus difficiles à obtenir et c’est ce qui différencie le plus les intelligences artificielles. Voici les premiers essais avec un prompt générique (plus quelques épices mais je ne peux quand même pas tout vous dire 🙂 ) et les valeurs par défaut, appliqué à trois moteurs différents :

Prompt : young woman glamour with bandana red hair portrait, photo, 50mm, f1.4, natural light, Pathéchrome

Avec Flux.1 Dev (sur Replicate – solution payante dans le cloud). Il est aussi possible de cette façon d’utiliser la troisième version : Flux Pro. Incomparablement meilleure que celle-ci. Si, si, c’est possible !

Avec Flux Schnell (Draw Things en local – échantillonneur Euler Ancestral)

Avec Stable Diffusion XL Turbo (Draw Things en local – échantillonneur Euler Ancestral)

Sans surprise, la qualité se dégrade au fil des versions. Avec un type plus « chevalin » et moins détaillé pour Stable Diffusion. Enfin, les goûts et les couleurs… Marre des rousses, j’ai fait le même test avec un prompt « noir et blanc » :

Prompt : realistic young woman with sunglasses on top of the head, fair hair, portrait, photo, 50mm, f1.4, natural light, blue tone, black and white, heavy grain

Flux.1 Dev

Flux Schnell (échantillonneur DPM++2M Karras)

Stable Diffusion XL Turbo (échantillonneur Euler Ancestral)

Cette fois, il y a eu une incomprehension sur la position des lunettes. Rien de grave toutefois puisqu’on peut le corriger avec le prompt et en particulier dans le « negative prompt ».

Générer des variations

C’est ici qu’interviennent les LoRa’s comme on l’a vu dans un autre billet. On peut enrichir DrawThings d’un grand nombre de ces LoRa en les téléchargeant dans le logiciel, qu’ils soient « génériques », issus de la communauté ou encore de vos propres productions, comme par exemple deux LoRa que j’avais entraînés sur Replicate : mon portrait, et mes fractales « sous-marines »…

: Mucha, Art Nouveau

: LoRa FLG style

: PaperCut

: Pixel Art

: LoRa fractales abysses style

: Vinci

Ou alors, on peut activer une palette secrète avec une foultitude de style prédéfinis, un peu à la manière de ce qui est disponible dans Fooocus !