Gra zaufania. Jak stworzyć własny DeepFake w 5 minut
W tym artykule porozmawiamy o tym, jak zrobić profesjonalnego DeepFake bez pisania kilkuset linii kodu.
Jeśli czytasz ten artykuł, to najprawdopodobniej słyszałeś już o algorytmie sztucznej inteligencji o nazwie DeepFake. Dzisiaj deepfake’i są wykorzystywane niemal wszędzie: od filmów po filmy porno. Niedawne badanie wykazało, że 96% deepfake’ów w Internecie to tak naprawdę filmy porno. W większości przypadków użytkownicy tworzą fałszywe filmy porno z celebrytami lub wykorzystują technologię do zemsty.
Poza pornografią technologia ta wykorzystywana jest także w polityce, tworzeniu fake newsów i różnego rodzaju oszustw. W Internecie jest wiele podobnych filmów z różnymi postaciami politycznymi, na jednym z nich na przykład Obama nazwał Trumpa kompletnym dupkiem (dupkiem). W kwietniu 2018 r. serwis BuzzFeed pokazał, jak daleko zaszło fałszerstwo wideo, łącząc twarz Baracka Obamy i przekonujący głos Jordana Peele.
Przykład głębokiego fałszywego kanału BuzzFeed
Jednak technologia jest wykorzystywana nie tylko ze szkodą, ale także z korzyścią dla społeczeństwa. Na przykład w Muzeum Salvadora Dali na Florydzie z okazji 115. rocznicy urodzin słynnego artysty zorganizowano specjalną wystawę Dalí Lives („Dali żyje"). Kuratorzy projektu wykorzystali wygenerowany przez sztuczną inteligencję prototyp artysty, który komunikował się z odwiedzającymi muzeum, opowiadając im historie o swoich obrazach i życiu.
Ale nie musisz być wykwalifikowanym programistą, aby stworzyć własny deepfake. Wszystko czego potrzebujesz to zwykłe zdjęcie, które chcesz animować i wideo swojego ulubionego artysty lub tego, którego ruchy chcesz naśladować.
Aby zasymulować opisany powyżej proces, zaimplementujemy animację obrazu, co jest możliwe za pomocą sieci neuronowych, które powodują ruch obrazu w wybranej przez Ciebie sekwencji wideo. Po przeczytaniu tego artykułu do końca zrozumiesz, że możesz animować dowolne zdjęcie bez pisania ani jednego wiersza kodu.
Jak to działa?
Deepfake’i bazują na generatywnych przeciwstawnych sieciach neuronowych (GAN). Są to algorytmy oparte na uczeniu maszynowym, które mogą generować nowe treści z danego zestawu. Na przykład GAN może przestudiować tysiąc fotografii Baracka Obamy i stworzyć własne, zachowując wszystkie cechy i mimikę byłego prezydenta.
Wykorzystamy model wprowadzony w „ First Order Motion Model for Image Animation “, czyli nowe podejście do zastępowania obiektu w filmie innym obrazem bez podawania dodatkowych informacji i pisania dodatkowego kodu.
Przed zbudowaniem sekwencji wideo bardzo ważne jest, aby dokładnie zrozumieć, jak to zrobić.
Podczas korzystania z tego modelu sieć neuronowa pomaga zrekonstruować wideo, w którym oryginalny obiekt zostaje zastąpiony innym obiektem znajdującym się na oryginalnym obrazie. Podczas testowania program próbuje przewidzieć, w jaki sposób obiekt na oryginalnym obrazie będzie się poruszał na podstawie dodanego wideo. W ten sposób śledzony jest każdy najmniejszy ruch przedstawiony na filmie, począwszy od obrotu głowy, a skończywszy na ruchu kącików ust.
Proces tworzenia DeepFake
Testy są przeprowadzane na dużej liczbie filmów. Aby zrekonstruować wideo, model wyodrębnia kilka klatek i próbuje poznać wzorce wykonywanych ruchów. Analizując wydobyte informacje, uczy się kodować ruch jako mieszankę charakterystycznych dla niego ruchów w punktach kluczowych i własnych przekształceń afinicznych.
Podczas testowania model rekonstruuje sekwencję wideo, dodając obiekt z oryginalnego obrazu do każdej klatki wideo, a tym samym animuje go.
Ramy są realizowane za pomocą modułu oceny ruchu i modułu generowania obrazu.
Celem modułu oceny ruchu jest dokładne zrozumienie, w jaki sposób są one wykonywane („ ukryta reprezentacja ruchu “). Mówiąc najprościej, próbuje śledzić ruchy w ich sekwencji i kodować je, aby przenosić kluczowe punkty i rejestrować lokalne transformacje afiniczne. Rezultatem jest gęste pole ruchu i maska okluzyjna, które działają razem. Maska określa, które części obiektu, poruszające się w określonej kolejności, powinny zostać zastąpione oryginalnym obrazem (na przykład dolna część twarzy).
Na przykład w tym GIF-ie plecy kobiety nie są animowane.
Ostatecznie dane odebrane przez moduł szacowania ruchu są przesyłane do modułu generowania obrazu wraz z oryginalnym obrazem i wybranym plikiem wideo. Generator obrazu tworzy klatki ruchomego wideo z zastąpieniem oryginalnego obiektu obrazu. Klatki są łączone, aby następnie utworzyć nowy film.
Tworzenie DeepFakes
Możesz łatwo znaleźć kod źródłowy na Githubie, sklonować go na własnej maszynie i tam wszystko uruchomić, jednak istnieje prostszy sposób, który pozwala uzyskać gotowe wideo w zaledwie 5 minut.
- Skorzystaj z linku: https://colab.research.google.com/github/AwaleSajil/DeepFake_1/blob/master/first_order_model_demo(Youtube)_new_audioV5_a.ipynb
- Utwórz kopię pliku ipynb na dysku Google.
3 Uruchom pierwszy proces, aby pobrać wszystkie wymagane zasoby i ustawić parametry modelu.
4 Następnie możesz przetestować algorytm, korzystając z wcześniej przygotowanej kolekcji filmów i zdjęć. Po prostu wybierz obraz źródłowy z kolekcji i wideo, które chcesz wyświetlić na tym obrazie. Po kilku minutach będziesz mieć w rękach gotowy deepfake.
5 Aby utworzyć własny film, w trzeciej komórce wprowadź ścieżkę do oryginalnego obrazu i ruchomego wideo. Można je pobrać bezpośrednio do folderu z modelem, który można otworzyć klikając na ikonę folderu menu po lewej stronie. Ważne jest, aby Twój film był przycięty do twarzy i był w formacie mp4. Możesz także skorzystać z przykładów z kolekcji w tej sekcji.
W rezultacie, łącząc wideo z Ivangai i zdjęciem Elona Muska, udało nam się uzyskać następujący deepfake
