Jeu de confiance. Comment créer votre propre DeepFake en 5 minutes

Dans cet article, nous verrons comment créer un DeepFake professionnel sans écrire quelques centaines de lignes de code.

Si vous lisez cet article, vous avez probablement déjà entendu parler de l’algorithme d’intelligence artificielle appelé DeepFake. Aujourd’hui, les deepfakes sont utilisés presque partout: du cinéma aux vidéos porno. Une étude récente a montré que 96% des deepfakes sur Internet sont en fait des vidéos porno. Dans la plupart des cas, les utilisateurs créent de fausses vidéos porno de célébrités ou utilisent la technologie pour se venger du porno.

En plus de la pornographie, la technologie est également utilisée dans la politique, la création de fausses nouvelles et divers types de tromperies. Il existe de nombreuses vidéos similaires sur Internet avec diverses personnalités politiques, dans l’une d’entre elles, par exemple, Obama a qualifié Trump de connard complet (un connard). En avril 2018, BuzzFeed a montré à quel point la falsification vidéo était profonde en combinant le visage de Barack Obama et la voix convaincante de Jordan Peele.

BuzzFeed Deepfake Exemple

Cependant, la technologie est utilisée non seulement au détriment, mais aussi au profit de la société. Par exemple, au Salvador Dali Museum en Floride, en l’honneur du 115e anniversaire du célèbre artiste, une exposition spéciale Dalí Lives ("Dali est vivant") a été organisée. Les conservateurs du projet ont utilisé un prototype de l’artiste généré par l’IA, qui a communiqué avec les visiteurs du musée, leur racontant des histoires sur ses peintures et sa vie.

Mais vous n’avez pas besoin d’être un développeur qualifié pour créer votre propre deepfake. Tout ce dont vous avez besoin est une photo ordinaire que vous souhaitez animer et une vidéo de votre artiste préféré ou de celui dont vous souhaitez imiter les mouvements.

Pour simuler le processus décrit ci-dessus, nous allons implémenter une animation d’image, ce qui est possible à l’aide de réseaux de neurones qui font bouger l’image dans la séquence vidéo que vous choisissez. Après avoir lu cet article jusqu’au bout, vous comprendrez que vous pouvez animer n’importe quelle photo sans écrire une seule ligne de code.

Comment ça fonctionne?

Les deepfakes sont basés sur des réseaux de neurones antagonistes génératifs (GAN). Ce sont des algorithmes basés sur l’apprentissage automatique qui peuvent générer de nouveaux contenus à partir d’un ensemble donné. Par exemple, GAN peut étudier un millier de photographies de Barack Obama et créer la sienne, en préservant tous les traits et expressions faciales de l’ex-président.

Nous utiliserons le modèle introduit dans " First Order Motion Model for Image Animation ", qui est une nouvelle approche pour remplacer un objet dans une vidéo par une autre image sans spécifier d’informations supplémentaires ni écrire de code supplémentaire.

Avant de construire une séquence vidéo, il est très important de comprendre exactement comment le faire.

Lors de l’utilisation de ce modèle, le réseau de neurones aide à reconstruire la vidéo, où le sujet d’origine est remplacé par un autre objet situé dans l’image d’origine. Pendant les tests, le programme essaie de prédire comment l’objet dans l’image d’origine se déplacera, en fonction de la vidéo ajoutée. Ainsi, chaque moindre mouvement présenté sur la vidéo est suivi, en commençant par le tour de tête et en terminant par le mouvement des commissures des lèvres.

Le processus de création de DeepFake

Les tests sont effectués sur un grand nombre de vidéos. Pour reconstruire la vidéo, le modèle extrait plusieurs images et essaie d’apprendre les schémas des mouvements effectués. En analysant les informations extraites, elle apprend à encoder le mouvement comme un mélange de mouvements de points clés qui lui sont propres et de ses propres transformations affines.

Lors des tests, le modèle reconstruit la séquence vidéo en ajoutant un objet de l’image d’origine à chaque image de la vidéo, et donc l’anime.

Le cadre est mis en œuvre par l’utilisation d’un module d’évaluation de mouvement et d’un module de génération d’image.

L’objectif du module d’évaluation des mouvements est de comprendre exactement comment ils sont exécutés (« représentation des mouvements latents »). En termes simples, il essaie de garder une trace des mouvements dans leur séquence et de les encoder pour déplacer des points clés et enregistrer des transformations affines locales. Le résultat est un champ de mouvement dense et un masque occlusal qui fonctionnent ensemble. Le masque détermine quelles parties de l’objet, se déplaçant dans une certaine séquence, doivent être remplacées par l’image d’origine (par exemple, la partie inférieure du visage).

Par exemple, dans ce GIF, le dos de la dame n’est pas animé.

Enfin, les données reçues par le module d’estimation de mouvement sont envoyées au module de génération d’images avec l’image d’origine et le fichier vidéo sélectionné. Le générateur d’images crée des images de vidéo en mouvement avec l’objet image d’origine remplacé. Les cadres sont réunis pour créer ensuite une nouvelle vidéo.

Création de DeepFakes

Vous pouvez facilement trouver le code source sur Github, le cloner sur votre propre machine et y exécuter tout, cependant, il existe un moyen plus simple qui vous permet d’obtenir une vidéo prête à l’emploi en seulement 5 minutes.

1. Suivez le lien : https://colab.research.google.com/github/AwaleSajil/DeepFake_1/blob/master/first_order_model_demo(Youtube)_new_audioV5_a.ipynb
2. Créez une copie du fichier ipynb dans votre lecteur Google.

3 Exécutez le premier processus pour télécharger toutes les ressources requises et définir les paramètres du modèle.

4 Ensuite, vous pouvez tester l’algorithme à l’aide d’une collection de vidéos et de photos préparée à l’avance. Sélectionnez simplement une image source dans la collection et la vidéo que vous souhaitez projeter sur cette image. Après quelques minutes, vous aurez entre les mains un deepfake prêt à l’emploi.

5 Pour créer votre propre vidéo, saisissez le chemin d’accès à l’image d’origine et à la vidéo animée dans la troisième cellule. Vous pouvez les télécharger directement dans le dossier avec le modèle, qui peut être ouvert en cliquant sur l’icône du dossier de menu à gauche. Il est important que votre vidéo soit recadrée au visage et soit au format mp4. Vous pouvez également utiliser les exemples de la collection de cette section.

Du coup, en combinant la vidéo avec Ivangai et la photo d’Elon Musk, on a réussi à obtenir le deepfake suivant