Гра на довіру. Як створити власний DeepFake за 5 хвилин

У цій статті поговоримо про те, як зробити професійний DeepFake без написання кількох сотень рядків коду.

Якщо ви читаєте цю статтю, то, швидше за все, ви вже чули про алгоритм штучного інтелекту під назвою DeepFake. Сьогодні дипфеки використовуються практично скрізь: від кінематографа до порно-роликів. Нещодавнє дослідження показало, що 96% дипфейків в інтернеті – саме порно-ролики. У більшості випадків користувачі створюють фальшиві порнографічні відео зі знаменитостями або використовують технологію для порно-місця.

Крім порнографії, технологія застосовується і в політиці, створенні фейкових новин та різноманітних обманів. У мережі є безліч подібних роликів із різними політичними діячами, в одному з них, наприклад, Обама назвав Трампа complete dipshit (засранцем). У квітні 2018 року BuzzFeed показав, як далеко зайшли технології глибокої підробки відео, об’єднавши обличчя Барака Обами та переконливий голос Джордана Піла.

Приклад Deepfake від BuzzFeed

Однак, технологія застосовується не тільки на шкоду, а й на благо суспільству. Наприклад, у Музеї Сальвадора Далі у Флориді на честь 115-річчя відомого художника було організовано спеціальну виставку Dalí Lives («Далі живий»). Куратори проекту використали згенерований штучним інтелектом прототип художника, який спілкувався з відвідувачами музею, розповідав їм історії про свої картини та життя.

Але вам не потрібно бути вмілим розробником, щоб створити власний дипфейк. Все, що вам знадобиться – це звичайне фото, яке ви хочете анімувати та відео з вашим улюбленим артистом, або тим, чиї рухи ви хочете повторити.

Для імітації вище описаного процесу ми реалізуємо анімацію зображення, яка можлива за допомогою нейронних мереж, що змушують картинку рухатися у вибраній відеопослідовності. Прочитавши цю статтю до кінця, ви зрозумієте, що можна анімувати будь-яке фото без написання єдиного рядка коду.

Як це працює?

В основі дипфейків лежать генеративно-змагальні нейромережі (GAN). Це алгоритми з урахуванням машинного навчання, здатні генерувати новий контент із заданого набору. Наприклад, GAN може вивчити тисячу фотографій Барака Обами та створити свою, зберігаючи всі риси та міміку екс-президента.

Ми будемо використовувати модель, представлену в First Order Motion Model для Image Animation, яка є новим підходом до заміни об’єкта у відео іншим зображенням без вказівки будь-якої додаткової інформації та написання додаткового коду.

Перш ніж збудувати відеопослідовність, дуже важливо розуміти, як саме потрібно це робити.

При використанні даної моделі нейронна мережа допомагає реконструювати відео, де початковий об’єкт зйомки замінюється на інший об’єкт, що знаходиться на вихідному зображенні. Під час тестування програма намагається передбачити, як об’єкт на вихідному зображенні рухатиметься, якщо взяти за основу додане відео. Таким чином, відстежується кожен дрібний рух, представлений на відео, починаючи з повороту голови і закінчуючи переміщенням куточків губ.

Процес створення DeepFake

Тестування проводиться на велику кількість відеороликів. Для реконструкції відео модель витягує кілька кадрів та намагається вивчити закономірності виконаних рухів. Аналізуючи отриману інформацію, вона вчиться кодувати рух як суміш специфічних йому переміщень ключових точок і власних афінних перетворень.

Під час тестування модель відновлює відеопослідовність, додаючи об’єкт з вихідного зображення до кожного кадру відео, і, отже, анімує його.

Фреймворк реалізується за допомогою використання модуля оцінки рухів та модуля генерації зображень.

Мета модуля оцінки рухів полягає в тому, щоб зрозуміти, як саме вони виконуються (« латентне уявлення про рухи »). Простіше кажучи, він намагається відстежувати рухи в їхній послідовності і кодувати їх для переміщення ключових точок та запису локальних афінних перетворень. В результаті ми отримуємо щільне поле рухів та оклюзійну маску, які працюють разом. Маска визначає, які частини об’єкта, що рухаються у певній послідовності, мають бути замінені вихідним зображенням (наприклад, нижня частина обличчя).

Наприклад, у цьому GIF-файлі спина жінки не анімована.

Зрештою, отримані модулем оцінки рухів дані відправляються в модуль генерації зображень разом із вихідним зображенням та вибраним відеофайлом. Генератор зображень створює кадри відео, що рухається, із заміненим вихідним об’єктом зображення. Кадри з’єднуються разом, щоб створити новий відеоролик.

Створення DeepFakes

Вихідний код легко можна знайти на Github, клонувати на власну машину і виконати все там, проте є спосіб простіше, що дозволяє отримати вже готове відео буквально через 5 хвилин.

1. Перейдіть за посиланням: https://colab.research.google.com/github/AwaleSajil/DeepFake_1/blob/master/first_order_model_demo(Youtube)_new_audioV5_a.ipynb
2. Створіть копію файлу ipynb на Google-диску.

3 Запустіть перший процес, щоб завантажити всі необхідні ресурси та налаштувати параметри моделі.

4 Потім ви можете протестувати алгоритм, використовуючи заздалегідь заготовлену колекцію відео та фото. Просто виберіть вихідне зображення з колекції та відео, яке потрібно спроектувати на це зображення. Через кілька хвилин у вас на руках буде готовий дипфейк.

5 Щоб створити власне відео, вкажіть шлях до вихідного зображення та рухомого відео в третю комірку. Завантажити їх можна прямо в папку з моделлю, яку можна відкрити натиснувши на іконку папки меню зліва. Важливо, щоб ваше відео було обрізане по обличчю та мало формат mp4. Ви також можете використовувати приклади колекції в цьому розділі.

У результаті, поєднавши відео з Івангаєм та фотографію Ілона Маска, нам вдалося отримати наступний дипфейк.