Jogo de confiança. Como criar seu próprio DeepFake em 5 minutos

Neste artigo, falaremos sobre como criar um DeepFake profissional sem escrever algumas centenas de linhas de código.

Se você está lendo este artigo, provavelmente já ouviu falar sobre o algoritmo de inteligência artificial chamado DeepFake. Hoje, os deepfakes são usados ​​em quase todos os lugares: do cinema aos vídeos pornográficos. Um estudo recente mostrou que 96% dos deepfakes na Internet são, na verdade, vídeos pornográficos. Na maioria dos casos, os usuários criam vídeos pornográficos falsos de celebridades ou usam tecnologia para pornografia de vingança.

Além da pornografia, a tecnologia também é utilizada na política, na criação de fake news e em vários tipos de enganações. Existem muitos vídeos semelhantes na Internet com várias figuras políticas, em um deles, por exemplo, Obama chamou Trump de idiota completo (um idiota). Em abril de 2018, o BuzzFeed mostrou o quão profunda a falsificação de vídeo chegou ao combinar o rosto de Barack Obama e a voz convincente de Jordan Peele.

Exemplo de deepfake do BuzzFeed

No entanto, a tecnologia é usada não apenas em detrimento, mas também em benefício da sociedade. Por exemplo, no Museu Salvador Dali, na Flórida, em homenagem ao 115º aniversário do famoso artista, foi organizada uma exposição especial Dalí Lives (“Dali está vivo"). Os curadores do projeto usaram um protótipo do artista gerado por IA, que se comunicou com os visitantes do museu, contando histórias sobre suas pinturas e sua vida.

Mas você não precisa ser um desenvolvedor habilidoso para criar seu próprio deepfake. Tudo o que você precisa é uma foto normal que deseja animar e um vídeo do seu artista favorito ou cujos movimentos deseja imitar.

Para simular o processo descrito acima, vamos implementar a animação da imagem, que é possível com a ajuda de redes neurais que fazem a imagem se mover na sequência de vídeo que você escolher. Depois de ler este artigo até o final, você entenderá que pode animar qualquer foto sem escrever uma única linha de código.

Como funciona?

Deepfakes são baseados em redes neurais adversárias generativas (GANs). São algoritmos baseados em aprendizado de máquina que podem gerar novos conteúdos a partir de um determinado conjunto. Por exemplo, o GAN pode estudar mil fotografias de Barack Obama e criar as suas próprias, preservando todos os traços e expressões faciais do ex-presidente.

Usaremos o modelo apresentado em " Modelo de movimento de primeira ordem para animação de imagem ", que é uma nova abordagem para substituir um objeto em um vídeo por outra imagem sem especificar nenhuma informação adicional e escrever código adicional.

Antes de construir uma sequência de vídeo, é muito importante entender exatamente como fazê-lo.

Ao utilizar este modelo, a rede neural auxilia na reconstrução do vídeo, onde o sujeito original é substituído por outro objeto localizado na imagem original. Durante o teste, o programa tenta prever como o objeto na imagem original se moverá, com base no vídeo adicionado. Assim, cada menor movimento apresentado no vídeo é rastreado, começando com o virar da cabeça e terminando com o movimento dos cantos dos lábios.

O processo de criação do DeepFake

O teste é realizado em um grande número de vídeos. Para reconstruir o vídeo, o modelo extrai vários quadros e tenta aprender os padrões dos movimentos executados. Ao analisar as informações extraídas, ela aprende a codificar o movimento como uma mistura de movimentos de pontos-chave específicos a ele e suas próprias transformações afins.

Durante o teste, o modelo reconstrói a sequência de vídeo adicionando um objeto da imagem original a cada quadro do vídeo e, portanto, o anima.

A estrutura é implementada através do uso de um módulo de avaliação de movimento e um módulo de geração de imagem.

O objetivo do módulo de avaliação do movimento é entender exatamente como eles são executados (” representação do movimento latente “). Simplificando, ele tenta acompanhar os movimentos em sua sequência e codificá-los para mover pontos-chave e registrar transformações afins locais. O resultado é um campo de movimento denso e uma máscara oclusal que trabalham juntos. A máscara determina quais partes do objeto, movendo-se em uma determinada sequência, devem ser substituídas pela imagem original (por exemplo, a parte inferior do rosto).

Por exemplo, neste GIF, as costas da senhora não são animadas.

Finalmente, os dados recebidos pelo módulo de estimativa de movimento são enviados para o módulo de geração de imagens juntamente com a imagem original e o arquivo de vídeo selecionado. O gerador de imagem cria quadros de vídeo em movimento com o objeto de imagem original substituído. Os quadros são unidos para posteriormente criar um novo vídeo.

Criação de DeepFakes

Você pode facilmente encontrar o código-fonte no Github, cloná-lo em sua própria máquina e executar tudo lá, porém, existe uma maneira mais fácil que permite obter um vídeo pronto em apenas 5 minutos.

1. Segue o link: https://colab.research.google.com/github/AwaleSajil/DeepFake_1/blob/master/first_order_model_demo(Youtube)_new_audioV5_a.ipynb
2. Crie uma cópia do arquivo ipynb em sua unidade do Google.

3 Execute o primeiro processo para baixar todos os recursos necessários e definir os parâmetros do modelo.

4 Em seguida, você pode testar o algoritmo usando uma coleção pré-preparada de vídeos e fotos. Basta selecionar uma imagem de origem da coleção e o vídeo que deseja projetar nessa imagem. Depois de alguns minutos, você terá um deepfake pronto em suas mãos.

5 Para criar seu próprio vídeo, insira o caminho para a imagem original e o vídeo em movimento na terceira célula. Você pode baixá-los diretamente para a pasta com o modelo, que pode ser aberta clicando no ícone da pasta do menu à esquerda. É importante que seu vídeo seja cortado no rosto e esteja no formato mp4. Você também pode usar os exemplos da coleção nesta seção.

Como resultado, combinando o vídeo com Ivangai e a foto de Elon Musk, conseguimos o seguinte deepfake