Comment écrire une invite de diffusion stable impressionnante

Stable Diffusion, un générateur d'art AI populaire, nécessite des invites de texte pour créer une image. Parfois, il fait un travail incroyable et génère exactement ce que vous voulez avec une vague invite. D'autres fois, vous obtenez des sorties sous-optimales. Voici quelques trucs et astuces pour obtenir des résultats idéaux.

Comment écrire une invite de diffusion stable

Si vous avez passé du temps avec des générateurs d'images AI, comme Stable Diffusion, DALL-E ou MidJourney, vous aurez remarqué qu'une invite bien formulée est essentielle. Une invite bien formulée est la différence entre transformer votre idée en une superbe image et obtenir une monstruosité étrange avec trop de doigts qui vous regardent.

Les gens essaient de trouver les meilleurs moyens d'obtenir des résultats idéaux depuis le lancement de Stable Diffusion en août 2022, et ils seront forge rapide ou ingénierie rapide pour les années à venir. C'est d'autant plus probable que les points de contrôle qui informent sur la façon dont Stable Diffusion génère des images recevront des mises à jour périodiques. L'invite idéale sera une cible mouvante dans un avenir prévisible.

Sois aussi spécifique que possible

La diffusion stable a tendance à prospérer sur des invites spécifiques, en particulier par rapport à quelque chose comme MidJourney. Vous devez lui dire exactement ce que vous voulez. Voici un exemple utilisant les animaux préférés d'Internet : les chats mignons.

D'accord, ils sont plutôt mignons, sauf peut-être le pauvre gars du milieu supérieur qui a l'air d'avoir passé trop de temps à regarder dans l'abîme. Et si vous vouliez des chats gris, pas un mélange de chats ? Eh bien, vous devez le préciser. Utilisez plutôt Chats gris mignons comme invite.

Désormais, Stable Diffusion renvoie tous les chats gris. Vous pouvez continuer à ajouter des descriptions de ce que vous voulez, y compris en accessoirisant les chats dans les images.

Cela s'applique à tout ce que vous voulez que Stable Diffusion produise, y compris les paysages. Soyez descriptif et, au fur et à mesure que vous essayez différentes combinaisons de mots-clés, gardez une note mentale de la façon dont l'image change. Certains mots et expressions ont tendance à biaiser une image plus fortement que d'autres mots, vous devrez donc peut-être ajuster votre invite en conséquence.

Nommer des styles artistiques ou des médiums spécifiques

Le besoin de spécificité ne s'arrête pas lorsque vous décrivez complètement le contenu de l'image que vous souhaitez. Vous pouvez (et devriez) également spécifier le style que vous souhaitez. Nous nous en tiendrons à notre invite Chat gris mignon pour cela. Disons que nous voulons des chats gris mignons, mais nous voulons aussi qu'ils ressemblent à une peinture acrylique. La première chose que vous devriez essayer est d'ajouter peinture acrylique comme mot-clé suivant dans votre invite, de sorte qu'il se lise : Chat gris mignon, peinture acrylique.

Il est généralement préférable de commencer avec le moins de mots-clés pour se rapprocher de ce que vous voulez, puis d'en ajouter d'autres pour vous concentrer sur l'esthétique que vous recherchez.

La diffusion stable reconnaît des dizaines de styles différents, allant des dessins au crayon aux modèles d'argile en passant par le rendu 3D d'Unreal Engine.

Ces exemples d'invites sont extrêmement simples, mais vous pouvez utiliser des dizaines de mots-clés pour affiner vos résultats. Si vous voulez des modèles de poulet en argile bizarres et de couleur psychédélique dans un Walmart, vous devez spécifier tous ces termes.

Nommer des artistes spécifiques pour guider la diffusion stable

Stable Diffusion est capable de faire plus qu'émuler des styles ou des médiums spécifiques ; il peut même imiter des artistes spécifiques si vous le souhaitez. Cet exemple a utilisé Pablo Picasso.

Vous devriez certainement essayer de lancer par (nom de l'artiste) dans vos invites si vous ne l'avez pas déjà fait. Il a tendance à produire des résultats spectaculaires. N'ayez pas peur non plus de combiner des artistes qui n'iraient pas ensemble normalement. Souvent, Stable Diffusion combinera leurs styles respectifs de manière passionnante et imprévisible.

Pondérer vos mots-clés

Bien sûr, le simple fait de bloquer des mots-clés dans votre invite ne vous mènera que jusqu'à présent. Que se passe-t-il si vous obtenez toutes les bonnes choses dans votre invite, mais qu'elles ne sont pas correctement proportionnées ?

Stable Diffusion prend en charge la pondération des mots-clés d'invite. En d'autres termes, vous pouvez lui dire qu'il doit vraiment faire attention à un mot-clé (ou des mots-clés) spécifique et faire moins attention aux autres. C'est pratique si vous obtenez des résultats qui correspondent un peu à ce que vous recherchez, mais pas tout à fait là.

Dans la version en ligne de commande de Stable Diffusion, il vous suffit d'ajouter deux points suivis d'un nombre décimal au mot que vous souhaitez mettre en valeur. Les nombres décimaux sont des pourcentages, ils doivent donc totaliser 1.

Pour en revenir à notre invite Chat gris mignon, imaginons qu'il produisait correctement des chats mignons, mais peu d'images de sortie comportaient des chats gris. Vous pouvez modifier l'invite pour lire : mignon, chat gris: 0,7 à la place, et il accordera le plus d'attention au chat gris, puis appliquera automatiquement la différence à mignon. Vous pouvez également attribuer manuellement des poids à chaque mot dans l'invite si vous souhaitez un contrôle plus fin, comme Cute: 0.10, Grey Cat: 0.60, Unreal Engine rendering: 0.30 par exemple.

La plupart des interfaces graphiques disponibles pour la diffusion stable gèrent la pondération sans vous obliger à saisir des pourcentages explicites. Vous pouvez généralement ajouter des parenthèses autour d'un terme dans votre invite pour le souligner, et des crochets pour diminuer l'importance d'un terme. Ainsi, le chat gris mignon précédent pourrait ressembler à [mignon], ((chat gris)).

Trouvez l'inspiration ailleurs

Stable Diffusion et d'autres générateurs d'art IA ont connu un pic de popularité explosif. Vous pouvez trouver ce genre d'art de l'IA partout. Cela signifie qu'il y a maintenant au moins quelques millions d'images générées par les utilisateurs qui circulent sur Internet, et la plupart du temps, les gens incluent l'invite qu'ils ont utilisée pour obtenir leurs résultats.

Voici quelques ressources pour vous aider à stimuler votre inspiration si vous n'êtes pas sûr de ce que vous cherchez à créer :

Lexica : un référentiel d'images générées à l'aide de Stable Diffusion et de l'invite correspondante. Recherche par mot-clé.
Stable Diffusion Artist Style Studies – Une liste non exhaustive d'artistes que Stable Diffusion pourrait reconnaître, ainsi que des descriptions générales de leur style artistique. Il existe un système de classement pour décrire dans quelle mesure Stable Diffusion répond au nom de l'artiste dans le cadre d'une invite.
Stable Diffusion Modifier Studies : une liste de modificateurs pouvant être utilisés avec Stable Diffusion, tout comme la page de l'artiste.
La liste des modificateurs d'art IA : une galerie de photos présentant certains des modificateurs les plus puissants que vous pouvez utiliser dans vos invites, et ce qu'ils font. Ils sont triés par type de modificateur.
Top 500 des artistes représentés dans Stable Diffusion : nous savons exactement quelles images ont été incluses dans l'ensemble de formation Stable Diffusion, il est donc possible de dire quels artistes ont le plus contribué à la formation de l'IA. De manière générale, plus un artiste est fortement représenté dans les données d'entraînement, mieux Stable Diffusion répondra à son nom en tant que mot-clé.
Le sous-reddit Stable Diffusion - Le sous-reddit Stable Diffusion propose un flux constant de nouvelles invites et de découvertes amusantes. Si vous êtes à la recherche d'inspiration ou de perspicacité, vous ne pouvez pas vous tromper.

Ajustez d'autres paramètres importants

Une bonne invite est la partie la plus difficile de l'utilisation de la diffusion stable, mais il existe quelques autres paramètres qui modifieront considérablement les résultats.

CFG : détermine dans quelle mesure Stable Diffusion suit votre invite. Des nombres plus élevés entraînent une plus grande adhésion à l'invite, tandis que des nombres inférieurs donnent plus de liberté à l'IA. Essayez d'abord de le peaufiner.
Méthode d'échantillonnage : comment l'image est affinée du bruit en formes reconnaissables. Essayez-en quelques-unes. Euler_a, k_LMS et PLMS semblent être des choix populaires.
Étapes d'échantillonnage : le nombre de fois qu'une image sera échantillonnée avant que vous ne receviez un résultat final. Parfois, vous obtenez de bons résultats à 30 étapes, parfois vous devez passer à 50 ou 80. Vous n'obtenez généralement pas de meilleurs résultats au-delà de 150 étapes. Commencez par moins de marches et montez.

Certaines de nos invites stylisées préférées

Ce sont quelques-unes de nos invites préférées car elles ont tendance à fonctionner de manière si fiable. Ajoutez simplement un sujet de votre choix plus quelques modificateurs. Tous les autres paramètres de diffusion stable ont été conservés comme les invites ci-dessus.

(Sujet), 35 mm, pointu

Choisissez un sujet et cette invite renvoie de manière fiable des résultats photoréalistes de personnes, d'animaux et de paysages.

(Sujet), rendu 3d low poly, couleurs pastel vibrantes, décalage d'inclinaison, grain de film

Entrez un sujet et vous l'obtiendrez dans l'esthétique Art of Rally.

(Sujet), (Description environnementale), cinématographique, dramatique, composition, ciel ensoleillé, brutaliste, hyper réaliste, échelle épique, sentiment d'admiration, hypermaximaliste, niveau de détails insensé, artstation HQ

Il vous suffit de déposer un sujet et une description de l'environnement, et cette invite fournit de superbes images d'art conceptuel de la ville avec un effet environnemental de votre choix. Voici un exemple utilisant la ville de New York comme sujet et la tempête de poussière comme description environnementale :

Kermit n'importe quoi

Stable Diffusion produit d'excellents résultats avec Kermit. Essayez-le n'importe où.

Pourquoi est-ce ainsi que Stable Diffusion interprète Kermit in Mordor, et qui est la chose maléfique rouge Kermit qui se tient derrière notre héros fidèle? Aucune idée.

Rappelez-vous, n'ayez pas peur de supprimer ce que vous pensez être un terme clé de votre invite. Certains mots, comme magnifique, influenceront fortement l'apparence d'une image, même si elle n'a pas de signification précise. Au fur et à mesure que vous passerez plus de temps avec Stable Diffusion, vous développerez une idée de la façon dont il répond à certains mots, et vous découvrirez rapidement qu'écrire une bonne invite est un art en soi.