Comment peindre avec une diffusion stable

Stable Diffusion est l'un des meilleurs outils de génération de texte en image d'IA disponibles en ligne. Développé par Stability.ai, le logiciel est un traducteur d'images révolutionnaire. Il utilise un modèle de diffusion latente pour restituer certaines des images les plus rapides en fonction d'invites textuelles.

Parmi ses nombreuses fonctionnalités, l’outpainting est l’une des plus intéressantes à utiliser. Il permet d'agrandir une image existante dans une ou plusieurs directions en fonction des descriptions de texte, des méthodes d'échantillonnage et des paramètres de résolution. Et contrairement aux images purement générées par l’IA, la fonction de surpeinture donne aux artistes et aux utilisateurs occasionnels de Stable Diffusion plus de contrôle sur le produit final.

Création de votre image à l'aide d'invites

Avant de vous lancer dans la peinture en diffusion stable, vous devez générer une image. Voici comment utiliser l’interface graphique d’Automatic1111 pour créer une nouvelle image.

Accédez à l'onglet txt2img.
Tapez les mots qui décrivent votre image dans la zone de texte d'invite.
Tapez des mots décrivant les éléments graphiques que vous ne souhaitez pas voir dans la zone de texte d'invite négative.
Réglez les pas d'échantillonnage entre 50 et 55 environ, en fonction des capacités de votre carte graphique.
Utilisez la méthode d'échantillonnage de votre choix et définissez la largeur et la hauteur de l'image.
Cochez l'option « Restaurer les visages » si vous générez des personnes dans l'image.
Ajustez le curseur « Nombre de lots » si vous souhaitez restituer plusieurs images.
Définissez la valeur de départ sur « -1 », sauf si vous avez en tête une valeur de départ d'image spécifique que vous souhaitez recréer.
Cliquez sur le bouton « Générer ».

Notez que les mots que vous tapez dans la zone de texte d'invite sont très importants. Si vous souhaitez des traits, styles, couleurs et autres effets spécifiques, vous devez les mentionner dans cette section.

Le générateur d'images à diffusion stable par défaut restituera quelque chose avec une sensation photographique, sauf indication contraire.

Utilisation de la fonction Outpaint en diffusion stable

Une fois que vous avez rendu une image, vous pouvez commencer à l'agrandir ou à la peindre. Sélectionnez l'image que vous aimez le plus dans votre lot et cliquez sur le bouton « Envoyer à img2img ».

Suivez les étapes suivantes pour configurer Stable Diffusion pour la peinture.

Accédez à l’onglet img2img dans l’interface graphique d’Automatic1111.
Faites défiler vers le bas jusqu'à ce que le menu déroulant "Script" s'affiche et sélectionnez "Outpainting mk2".
Choisissez la direction de la peinture en cochant les cases « Gauche », « Droite », « Haut » ou « Bas ».
Décrivez les éléments visuels de la peinture dans la zone de texte d'invite en haut de l'interface utilisateur.
Cochez l'option « Juste redimensionner ».
Réglez les pas d'échantillonnage entre 80 et 100 à l'aide du curseur.
Ajustez le nombre de pixels, que vous pouvez souvent maximiser pour obtenir la meilleure qualité d'image.
Cliquez sur le bouton « Générer ».

La meilleure façon de configurer le processus d'outpaint

L’un des plus gros problèmes liés à l’outpainting dans Stable Diffusion et dans d’autres logiciels de conversion texte-image compatibles avec l’IA est la surcharge de l’IA. Par exemple, élargir une image dans plusieurs directions peut donner des résultats mitigés.

De plus, si un seul côté s’avère bon, vous ne pourrez pas le conserver et refaire la peinture dans les autres sens. Au lieu de cela, vous devez repartir de zéro. Cela signifie que vous ne pourrez peut-être pas recréer ce côté qui semblait parfait.

Voici ce que vous voulez faire pour obtenir les meilleurs résultats de peinture en diffusion stable.

Développer vers la gauche

Chargez votre photo dans l'onglet img2img.
Décrivez les éléments visuels que vous souhaitez dans la peinture.
Ajoutez des invites négatives si nécessaire.
Choisissez la direction de peinture « Gauche » et décochez les trois autres options.
Cliquez sur « Générer » jusqu'à ce que vous soyez satisfait du résultat.
Faites glisser l'image du volet droit de l'interface utilisateur vers l'onglet img2img.

Développer vers la droite

Décrivez les éléments visuels que vous souhaitez et ne souhaitez pas dans les champs d'invite.
Ajoutez des invites négatives si vous souhaitez que l'IA omette des détails.
Choisissez la direction de peinture « Bonne » et décochez la précédente.
Appuyez sur « Générer » jusqu'à ce que vous obteniez quelque chose de génial.
Faites glisser l'image vers l'onglet img2img ou cliquez sur le bouton « Envoyer à img2img ».

Développer vers le haut

Ajoutez de nouveaux éléments visuels pour l'image.
Ajoutez des invites négatives si nécessaire.
Sélectionnez la direction de peinture « Up » et décochez la dernière.
Appuyez sur « Générer » jusqu'à ce que vous aimiez le résultat.
Faites glisser et déposez l'image finale dans l'onglet img2img.

Développer vers le bas

Tapez votre description finale avant de générer une expansion vers le bas.
Utilisez des invites négatives, de préférence pour éviter tout chevauchement avec l'image originale.
Sélectionnez « Vers le bas » comme direction de peinture et décochez tout le reste.
Cliquez sur le bouton « Générer » jusqu'à ce que vous soyez satisfait des résultats.

Un autre grand avantage de l’expansion de votre image dans une direction à la fois est que vous pouvez mieux décrire les images.

Par exemple, disons que votre image de départ comporte l'invite suivante : "des enfants jouent dans la cour". Vous pouvez ajouter « chien jouant dans la cour » d’un côté et « chat jouant dans la cour » de l’autre côté. L’IA aura beaucoup plus de chances de faire les choses correctement et de restituer des animaux réalistes dans l’image finale.

Dans le même exemple, vous pouvez taper « ciel bleu et oiseaux » dans l’invite et faire en sorte que l’IA se remplisse vers l’extérieur au-dessus de l’image d’origine au lieu d’obtenir des morceaux de ciel dans toutes les directions.

Ce que vous devez maîtriser lors de la peinture en diffusion stable

La diffusion stable n’est pas bon marché. Mais comme il s’agit d’un logiciel Open AI, vous pouvez l’exécuter sur votre propre machine pour éviter de payer des frais par génération. Notez que vous aurez probablement besoin d’une carte graphique décente avec environ 8 Go de VRAM et d’un bon processeur pour éviter des temps de rendu très lents.

Il s’agit maintenant d’installer l’interface utilisateur Web de l’Automatic1111 GUI.

Comment installer l’interface utilisateur Web Stable Diffusion Automatic1111 sur Windows

Tout d’abord, installez Python 3.11.1, car Stable Diffusion s’appuie fortement sur le codage Python.
Téléchargez et installez le programme d'installation autonome Git 32 bits ou 64 bits approprié en fonction de votre processeur.
Exécutez « git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git » pour obtenir le référentiel correct.
Téléchargez le point de contrôle du modèle de diffusion stable intitulé « model.ckpt » à partir d'ici.
Ajoutez « model.ckpt » dans le répertoire « models ».
Double-cliquez sur le fichier exécutable « webui-user.bat ».
Générez une image et expérimentez les fonctionnalités d'outpainting, d'inpainting et d'autres fonctionnalités.

Comment installer l’interface utilisateur Web Stable Diffusion Automatic1111 sur Linux

L'installation de l'interface utilisateur Web Automatic1111 sur une machine Linux est légèrement différente mais assez simple. Voici les étapes à suivre.

Red Hat Linux

Tapez « sudo dnf install wget git python3 » dans le terminal.
Installez l'interface utilisateur en exécutant « bash <(wget –q0-https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh). »

Debian Linux

Tapez « sudo apt install wget git python3 python3-venv » et exécutez-le dans le terminal.
Installez l'interface utilisateur avec la commande suivante "bash <(wget –q0-https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh)."

Arch Linux

Tapez « sudo P –S wget git python3 » dans le terminal.
Exécutez « bash <(wget –q0- https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh) » dans le terminal.

Comment installer l’interface utilisateur Web Stable Diffusion Automatic1111 sur Apple Silicon

Les commandes d'installation d'Automatic1111 Web UI sur une machine Apple Silicon sont différentes de celles des autres systèmes d'exploitation.

Démarrez l'application Terminal.
Exécutez « $cd ~/Documents/ »
Exécutez « $curl https://raw.githubusercontent.com/dylancl/stable-diffusion-webui-mps/master/setup_mac.sh -0 setup_mac.sh »
Exécutez « $chmod +x setup_mac.sh »
Exécutez « ./setup_mac.sh »
Suivez les instructions suivantes présentées dans l’interface du terminal.

Vous pouvez exécuter l'interface utilisateur d'Automatic1111 en exécutant « ./run webui_mac.sh » dans le terminal. Chaque fois que vous l'exécuterez, il démarrera avec les dernières mises à jour apportées au référentiel.

Que faire après avoir repeint une image

Aussi géniale que soit l’IA à diffusion stable, elle est loin d’être parfaite. Le surcharger d’informations et de longues descriptions peut produire des images peu passionnantes. De même, des descriptions vagues peuvent agrandir l’image sans ajouter suffisamment d’éléments visuels pertinents.

Une fois que vous avez terminé de peindre, vous avez deux options. Vous pouvez enregistrer l'image et la modifier davantage dans votre éditeur d'images préféré. Mais une autre façon de tirer davantage parti de la diffusion stable est de passer à l’inpainting.

Sélectionnez votre image dans le volet de droite et cliquez sur le bouton « Envoyer à Inpaint ». L'interface utilisateur passera à un nouveau type de fonctionnalité d'édition. C’est une excellente méthode pour remplir les blancs dans certaines parties de l’image.

Sélectionnez une taille de pinceau et masquez une partie de l'image où vous souhaitez ajouter quelque chose.
Décrivez les éléments de peinture.
Désélectionnez le script « Outpainting mk2 ».
Cliquez sur « Générer » jusqu'à ce que vous soyez satisfait du résultat.

Une fonctionnalité indispensable est enfin là

Bien que Stable Diffusion ait été lancée en août 2022, la fonction d’outpainting n’existait pas vraiment au début. Au moins, sa première itération n’était pas spectaculaire. Mais en peu de temps, la fonction d’inpainting de Stable Diffusion a dépassé les capacités de sa fonction d’inpainting.

Le logiciel peut générer des images époustouflantes. Et avec des textes descriptifs de 75 mots et un champ séparé pour les invites négatives, la précision de l’IA est étonnante.

Maintenant, nous voulons avoir de vos nouvelles. Quelle est votre expérience avec Stable Diffusion ou un logiciel similaire jusqu’à présent ? Pouvez-vous généralement restituer des images satisfaisantes, ou cela prend-il trop de temps ? Parlez-nous de vos expériences de diffusion stable et de vos conseils de peinture dans la section commentaires ci-dessous.