Gioco di fiducia. Come creare il tuo DeepFake in 5 minuti

In questo articolo parleremo di come realizzare un DeepFake professionale senza scrivere poche centinaia di righe di codice.

Se stai leggendo questo articolo, molto probabilmente hai già sentito parlare dell’algoritmo di intelligenza artificiale chiamato DeepFake. Oggi i deepfake sono usati quasi ovunque: dal cinema ai video porno. Uno studio recente ha mostrato che il 96% dei deepfake su Internet sono in realtà video porno. Nella maggior parte dei casi, gli utenti creano falsi video porno di celebrità o utilizzano la tecnologia per il revenge porn.

Oltre alla pornografia, la tecnologia viene utilizzata anche in politica, nella creazione di fake news e inganni di vario genere. Ci sono molti video simili su Internet con vari personaggi politici, in uno di essi, ad esempio, Obama ha definito Trump un completo idiota (uno stronzo). Nell’aprile 2018, BuzzFeed ha mostrato fino a che punto è arrivata la falsificazione di video combinando il volto di Barack Obama e la voce avvincente di Jordan Peele.

Esempio di deepfake di BuzzFeed

Tuttavia, la tecnologia viene utilizzata non solo a scapito, ma anche a vantaggio della società. Ad esempio, nel Museo Salvador Dali in Florida, in onore del 115 ° anniversario del famoso artista, è stata organizzata una mostra speciale Dalí Lives ("Dali è vivo"). I curatori del progetto hanno utilizzato un prototipo dell’artista generato dall’intelligenza artificiale, che comunicava con i visitatori del museo, raccontando loro storie sui suoi dipinti e sulla sua vita.

Ma non è necessario essere uno sviluppatore esperto per creare il tuo deepfake. Tutto ciò di cui hai bisogno è una normale foto che vuoi animare e un video del tuo artista preferito o di quello di cui vuoi imitare i movimenti.

Per simulare il processo sopra descritto, implementeremo l’animazione dell’immagine, che è possibile con l’aiuto di reti neurali che fanno muovere l’immagine nella sequenza video scelta. Dopo aver letto questo articolo fino alla fine, capirai che puoi animare qualsiasi foto senza scrivere una sola riga di codice.

Come funziona?

I deepfake si basano su reti neurali avversarie generative (GAN). Si tratta di algoritmi basati sul machine learning in grado di generare nuovi contenuti da un determinato set. Ad esempio, GAN può studiare mille fotografie di Barack Obama e crearne una propria, conservando tutti i lineamenti e le espressioni facciali dell’ex presidente.

Useremo il modello introdotto in " First Order Motion Model for Image Animation ", che è un nuovo approccio per sostituire un oggetto in un video con un’altra immagine senza specificare alcuna informazione aggiuntiva e scrivere codice aggiuntivo.

Prima di costruire una sequenza video, è molto importante capire esattamente come farlo.

Quando si utilizza questo modello, la rete neurale aiuta a ricostruire il video, dove il soggetto originale viene sostituito da un altro oggetto situato nell’immagine originale. Durante il test, il programma cerca di prevedere come si sposterà l’oggetto nell’immagine originale, in base al video aggiunto. Pertanto, viene tracciato ogni minimo movimento presentato nel video, a partire dal giro della testa e terminando con il movimento degli angoli delle labbra.

Il processo di creazione di DeepFake

I test vengono eseguiti su un gran numero di video. Per ricostruire il video, il modello estrae diversi fotogrammi e cerca di apprendere gli schemi dei movimenti eseguiti. Analizzando le informazioni estratte, impara a codificare il movimento come una miscela di movimenti di punti chiave specifici ad esso e le sue trasformazioni affini.

Durante il test, il modello ricostruisce la sequenza video aggiungendo un oggetto dall’immagine originale a ciascun fotogramma del video e quindi lo anima.

Il framework è implementato attraverso l’uso di un modulo di valutazione del movimento e un modulo di generazione di immagini.

Lo scopo del modulo di valutazione del movimento è capire esattamente come vengono eseguiti (" rappresentazione del movimento latente "). In poche parole, cerca di tenere traccia dei movimenti nella loro sequenza e di codificarli per spostare i punti chiave e registrare le trasformazioni affini locali. Il risultato è un denso campo di movimento e una maschera occlusale che lavorano insieme. La maschera determina quali parti dell’oggetto, che si muovono in una certa sequenza, devono essere sostituite dall’immagine originale (ad esempio, la parte inferiore del viso).

Ad esempio, in questa GIF, la schiena della signora non è animata.

Infine, i dati ricevuti dal modulo di stima del movimento vengono inviati al modulo di generazione dell’immagine insieme all’immagine originale e al file video selezionato. Il generatore di immagini crea fotogrammi di video in movimento con l’oggetto immagine originale sostituito. I fotogrammi vengono uniti insieme per creare successivamente un nuovo video.

Creazione di DeepFakes

Puoi facilmente trovare il codice sorgente su Github, clonarlo sulla tua macchina ed eseguire tutto lì, tuttavia esiste un modo più semplice che ti consente di ottenere un video già pronto in soli 5 minuti.

1. Segui il link: https://colab.research.google.com/github/AwaleSajil/DeepFake_1/blob/master/first_order_model_demo(Youtube)_new_audioV5_a.ipynb
2. Crea una copia del file ipynb nel tuo Google Drive.

3 Eseguire il primo processo per scaricare tutte le risorse necessarie e impostare i parametri del modello.

4 Quindi puoi testare l’algoritmo utilizzando una raccolta pre-preparata di video e foto. Basta selezionare un’immagine sorgente dalla raccolta e il video che desideri proiettare su quell’immagine. Dopo un paio di minuti, avrai tra le mani un deepfake già pronto.

5 Per creare il tuo video, inserisci il percorso dell’immagine originale e il video animato nella terza cella. Puoi scaricarli direttamente nella cartella con il modello, che può essere aperta facendo clic sull’icona della cartella del menu a sinistra. È importante che il tuo video sia ritagliato sul viso e sia in formato mp4. Puoi anche utilizzare gli esempi della raccolta in questa sezione.

Di conseguenza, combinando il video con Ivangai e la foto di Elon Musk, siamo riusciti a ottenere il seguente deepfake