Retourner ' la page d'accueil de TJSRetourner ' la page d'accueil de TJS

Travailler des images avec d'autres images en IA (Mise à jour : Janv 2024)

La fonctionnalité img2img est largement développée dans Fooocus. Nous allons voir ici les différentes possibilités de l'outil Image Prompt.

Récupérer les metadonnées d'une image

Avant de travailler une image, il faut pouvoir récupérer ses métadonnées depuis l'historique. Dans le répertoire /outputs/YYY-MM-DD, ouvrez le fichier log.html qui contient toutes les générations d'images de la journée. Chaque image est détaillée avec son procédé de génération.

Récupérer les metadonnées d'une image

Cliquez sur le bouton [Copy To Clipboard]. Collez le résultat dans la zone de prompt, cliquez sur le bouton [Generate] pour relancer la génération. Vous obtiendez alors de nouveau exactement l'image d'origine.

Les variations

Pour activer le mode Img2Img, cochez la case [Input Image] sous la zone de prompt. Un nouvel espace de saisie apparaît, avec plusieurs onglets représentant les différentes fonctionnalités.

Activation du menu Input Image

Dans le premier onglet [Upscale or Variation], suivez les étapes suivantes :

  1. Déposez une image que vous venez de re-générer avec les metadatas et choisissez l'option [Vary].
  2. Choisissez le nombre de variations à créer. Mais ne changez pas la seed déterminée par les metadatas
  3. Cliquez ensuite sur [Generate] pour lancer la série de variations de l'image d'origine.

Voici des modifications sur l'image de nouvel an. Notez des variations sur le chapeau, les pattes, le fond bleu, le texte, avec une image générale très reconnaissable.

Variations sans modification du prompt

Vous pouvez aussi jouer sur le texte du prompt pour modifier plus profondément l'image. Ici, en ajoutant "Snow and stars" au prompt, on obtient cet ensemble d'images, toujours fidéles à l'originale, mais avec de la neige et des étoiles :

Variations avec modification du prompt : ajout de Snow and stars

L'upscaling

L'Upscaling consiste à augmenter la résolution d'une image.

Il a déjà été détaillé dans le tuto précédent Upscaling d'images en local

Outpaint

La fonction Outpaint sert à dessiner en dehors de l'image. Elle est donc utilisée pour étendre les bords d'une image de manière cohérente.

Comme pour le traitement de variation, générez une image, déplacez-la dans la zone de saisie. Choisissez les côtés à élargir et cliquez sur [Generate]. Ici, je choisis d'élargir sur les quatre côtés un guerrier phacochère :

Préparation de l'outpaint

Le rendu est tout à fait naturel :

Résultat de l'outpaint sur les 4 côtés

Inpaint / Change object

La fonction Inpaint sert à dessiner à l'intérieur de l'image, uniquement sur une zone surlignée. Elle permet de modifier une partie de l'image de manière cohérente, sans affecter le reste de l'image.

Pour changer la couleur des cheveux d'une personne sur une image:

  1. Chargez l'image dans la zone de dessin
  2. Surlignez à la souris la zone à modifier.
  3. Définissez le prompt additionnel
  4. Choisissez la méthode [Change object]
  5. Cliquez sur [Generate]

Préparation de l'inpaint avec surlignage des cheveux à modifier

Les cheveux passent ici du blond au bleu avec un diadème comme demandé dans le complément de prompt :

Rendu avant/après de l'inpaint

Inpaint / Improve Detail

La fonction Inpaint sert aussi à améliorer une partie d'une image, souvent le visage ou les mains que l'IA a du mal à générer correctement au premier passage.

Pour améliorer un visage, placer l'image dans la zone, surlignez la zone à travailler, choisissez [Improve Detail], entrez un éventuel prompt additionnel :

Améliorer un visage

Le rendu est nettement meilleur après ce traitement :

Rendu avant/après sur un visage

La génération par Image Prompt

Cette fonctionnalité Image Prompt de génération mélange des images sources et des textes prompt. Nous allons voir deux exemples pour en mesurer toute la puissance.

Voici un premier exemple d'utilisation de la fonctionnalité. Une image de dragon sur un paysage. Il suffit d'indiquer "A lion" dans le prompt pour remplacer le dragon par un lion dans le même style

Préparation du prompt image

Et voici une série de résultats, avec la lune, le temple et la mise en scène :

Série de résultats avec le lion à la place du dragon

Lors de la première exécution de la description d'image, Fooocus doit télécharger un modèle dédié. Cela peut prendre un peu de temps. Regardez dans le terminal d'exécution pour obtenir l'état d'avancement.

Le second exemple prend en entrée 2 photos. Une photo de plage et la photo d'un homme dans la savane au milieu de quelques phacochères.

Préparation du prompt avec les deux images

Le résultat est une série d'images avec le même homme en bord d'une plage de même composition :

Série de résultats avec l'homme sur la plage. L'IA a trouvé que des zèbres avaient aussi leur place sur la plage

Les possibilités de cet onglet Image Prompt sont encore bien plus étendues. Un tuto dédié est en préparation, avec en particulier la technique du Faceswap.

La description d'image

La description d'image est plutôt une fonction de type img2txt mais elle peut être utile pour qualifier des images destinées à l'apprentissage de modèles.

Dans le dernier onglet [Describe], sélectionnez une image à décrire et cliquez sur le bouton [Describe this image]. La description apparaît dans la zone de prompt au dessus :

La description de l'image est affichée dans la zone de prompt

Lors de la première exécution de la description d'image, Fooocus doit télécharger un modèle dédié. Une fois le modèle disponible en local, l'analyse d'image demande d'une fraction de secondes à quelques secondes (selon les capacités de la carte graphique).

Le changement de compétence

Avec Fooocus, et tous les autres outils de génération d'images, les compétences du créateur ne sont plus les mêmes. L'habileté avec un crayon ou une souris a été remplacée par une maîtrise des termes techniques liés à l'IA. La créativité est toujours indispensable pour imaginer des scènes et les textes de prompt nécessaires.

Et il reste toujours un gros travail à la fois en génération initiale et en post traitement pour arriver au résultat attendu. A ce jour l'IA générative d'image a encore besoin de l'humain et ne peut pas générer un résultat satisfaisant dès le premier essai.

Troisième édition Tout JavaScript chez Dunod

Tout JavaScript le livre chez DunodEn savoir plus
Sortie le 4 janvier 2023

Version papier 29€90
Format électronique 22€99.

Commandez en ligne

Chercher une fonction, un objet, ...

Le 28/02/2024 05:01:44 sur php 7 en 46.43 ms