Até a Disney está investindo em IA: uma olhada no reenvelhecimento facial para efeitos visuais

Seja para se divertir em um filtro do Snapchat, para um filme ou até mesmo para remover alguns enigmas, todos nós temos uma utilidade em mente para poder mudar nossa idade em uma foto. Isso geralmente é feito por artistas qualificados usando o Photoshop ou uma ferramenta semelhante para editar suas fotos. Pior, em um vídeo, eles precisam fazer esse tipo de edição manual para cada quadro! Imagine a quantidade de trabalho necessária para isso. Bem, aqui está uma solução e um novo problema para esta situação...

Referências

►Leia o artigo completo:
►Loss et al., DisneyResearch, 2022: FRAN,
►GANs explicados:
►SAM:
►Discord:
►Twitter:
►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!):

Transcrição de vídeo

0:02 [Música] 0:06 seja por um divertido filtro do Snapchat 0:08 para um filme ou mesmo para remover alguns 0:11 enigmas todos nós temos uma utilidade em mente 0:13 por poder mudar nossa idade em um 0:15 imagem isso geralmente é feito por profissionais qualificados 0:18 artistas usando Photoshop ou similar 0:20 ferramenta para editar suas fotos piores em um 0:23 vídeo eles têm que fazer esse tipo de 0:24 edição manual para cada quadro apenas 0:27 imagine a quantidade de trabalho necessária para 0:29 bem, aqui está uma solução e um 0:32 novo problema para esta situação Disney's 0:35 publicação mais recente Fran pode fazer isso 0:38 automaticamente isso é um grande negócio para o 0:41 indústria cinematográfica, permitindo que você instantaneamente 0:43 envelhecer alguém para um filme inteiro com 0:46 muito pouco elenco porém é um problema 0:48 para artistas, pois corta simultaneamente 0:51 algumas oportunidades de trabalho e ajudá-los a cortar 0:53 longas e tediosas horas de trabalho para focar 0:56 Tarefas relacionadas a talentos algo legal aqui 0:58 é que eles criaram uma ferramenta baseada na frente 1:01 para os artistas usarem e editarem os resultados 1:03 tornando seu trabalho mais eficiente 1:05 concentrando-se em melhorar os detalhes em vez 1:08 do que cópias monotônicas colando edições de 1:10 um quadro para outro eu adoraria ouvir 1:13 seus pensamentos sobre isso nos comentários 1:15 abaixo ou converse em nossa comunidade do Discord 1:17 aprender AI juntos, mas para este vídeo 1:20 vamos nos concentrar mais uma vez no puramente 1:22 lados positivos deste trabalho o 1:24 progresso científico que fizeram na 1:26 reenvelhecimento digital de rostos em vídeo 1:29 você tem visto os resultados disso 1:31 novo algoritmo Fran e acredito que você pode 1:33 já concordam com o quão incríveis são esses 1:35 resultados olha só olha quanto mais 1:38 realista parece em comparação com outros 1:40 abordagens de reaging de última geração que 1:42 contêm muitos artefatos e falham em manter 1:44 a identidade da pessoa o mesmo mais 1:47 abordagem de amigos não requer 1:49 Centralize os rostos como esses outros 1:51 abordagens fazem o que torna ainda mais 1:53 impressionante o que é ainda mais incrível 1:55 é como a abordagem deles é simples primeiro 1:58 Fran, sem surpresa, representa rosto 2:01 reenvelhecimento da rede, isso significa que o 2:04 modelo é capaz de ter um rosto e mudar 2:06 quantos anos a pessoa parece com 2:08 consistência realismo e alta resolução 2:11 resultados em expressões variáveis 2:13 pontos de vista e condições de iluminação para 2:16 filmes a aparência da idade do ator é 2:19 geralmente alterado pela equipe de produção 2:20 usando trajes dedicados penteados etc. 2:23 para retratar a idade pretendida e apenas o 2:26 o rosto é deixado para os artistas digitais editarem 2:29 quadro a quadro que é onde Fran vem 2:32 em focar estritamente em regiões da pele de 2:35 o rosto eles também se concentram em idades adultas 2:38 como os filmes já têm eficiência e 2:40 diferentes técnicas para muito jovens 2:42 reenvelhecendo como todo o seu corpo e rostos 2:44 formas são diferentes e menores em 2:47 esses casos, mas como eles podem ter um rosto 2:49 de qualquer posição e apenas mude sua 2:52 aparência para adicionar ou remover algumas dezenas 2:54 Anos principalmente porque não têm chão 2:56 verdade nesta tarefa, o que significa que eles 2:59 não pode treinar um algoritmo para replicar 3:01 fotos antes e depois, pois elas 3:03 não os tem, existem muito poucos exemplos 3:05 da mesma pessoa com 20 ou mais anos 3:08 separados em todos os ângulos, eles precisam ter um 3:10 abordagem diferente e convencional 3:12 abordagens de aprendizado supervisionado onde você 3:14 tente replicar os exemplos que você 3:16 já tem em seu conjunto de dados 3:18 normalmente os pesquisadores lidam com isso 3:20 problema usando modelos poderosos treinados em 3:22 rostos falsos gerados de todas as idades embora 3:25 os resultados são bastante impressionantes 3:27 principalmente trabalhar em centrado e frontal 3:29 enfrenta devido aos dados de treinamento de falso 3:32 rostos gerados para isso, portanto, os resultados 3:35 são dificilmente generalizáveis para o mundo real 3:38 cenas, pois elas realmente não mantêm o 3:40 identidade da pessoa, pois não era 3:42 treinado usando a mesma pessoa em 3:44 diferentes períodos de tempo, mas apenas um 3:46 variedade de pessoas diferentes de diferentes 3:48 idades e tais modelos estáticos dificilmente podem 3:52 produzir movimentos faciais realistas devido 3:54 ao seu treinamento em imagens estáticas 3:57 não conhece a mecânica do mundo real 3:58 mudanças de iluminação etc. 4:01 sua primeira contribuição é abordar 4:03 esta lacuna no número de imagens de 4:05 a mesma pessoa em diferentes idades 4:08 objetivo aqui é fazer a mesma coisa que 4:10 abordagens anteriores, mas com um pequeno 4:12 tweak eles ainda estarão usando gerado 4:15 rostos falsos, mas construirá um conjunto de dados 4:18 cheio dos mesmos rostos com diferentes 4:20 bordas, então basicamente a mesma pessoa com 4:23 o mesmo fundo e o mesmo tudo 4:25 exceto a idade para ter o algoritmo 4:27 focado estritamente no rosto em 4:29 idades diferentes, eles imaginaram que, mesmo se 4:32 essas abordagens realmente não 4:33 generalizam bem em seu mundo real e 4:36 em cenas de vídeo eles ainda entendem 4:38 o processo de envelhecimento muito bem, então eles 4:40 poderia usá-los para gerar mais imagens 4:43 da mesma pessoa em diferentes idades como 4:45 um primeiro passo para construir um conjunto de dados melhor 4:48 esta etapa é feita usando um modelo chamado 4:50 soma que pode tirar o rosto de uma pessoa que 4:53 está perfeitamente centrado e reagente 4:56 será usado apenas para construir nosso conjunto 4:57 de fotos antes e depois a serem usadas 4:59 para treinar seu fã um algoritmo isso 5:02 passo é necessário, pois nossos algoritmos 5:04 são burros demais para generalizar a partir de alguns 5:07 exemplos como nós humanos fazemos e não podemos 5:10 obter quase tantas fotos de reais 5:12 rostos com a mesma iluminação mesmo 5:15 fundo e mesma roupa em 5:17 idades diferentes, deve ser artificialmente 5:19 gerou sua segunda contribuição é 5:22 usando esse novo conjunto de imagens, eles 5:24 criado e treinamento e algoritmo capaz 5:27 para replicar este processo no mundo real 5:30 cenas com boa consistência 5:32 em quadros de vídeo, o algoritmo que eles 5:35 construído é de fato bastante simples e 5:37 semelhante à maioria imagem a imagem 5:39 algoritmos de tradução que você encontrará 5:41 eles usam uma arquitetura unet que leva 5:44 uma idade de entrada e saída e uma imagem para 5:48 aprenda a melhor forma de transformá-lo em 5:50 uma nova imagem codificando-a no formato mais 5:53 espaço significativo possível e decodificação 5:55 na nova imagem para que a rede 5:58 aprende a pegar qualquer imagem e colocá-la em 6:00 o que chamamos de espaço latente onde 6:03 temos nossas codificações neste espaço latente 6:06 basicamente contém todos os necessários 6:08 informações que a rede aprendeu para sua 6:10 tarefas específicas, então basicamente o 6:12 diferentes características do rosto para isso 6:14 indivíduo em particular, mas não 6:16 contém informações sobre a imagem 6:18 plano de fundo ou outros recursos que não são 6:20 necessário para reenvelhecer, então leva isso 6:23 informações para prever algum tipo de 6:25 máscara de reenvelhecimento esta máscara só 6:27 contém as partes que precisam ser editadas 6:29 na foto para um efeito de reenvelhecimento 6:31 tornando as tarefas muito mais gerenciáveis 6:34 do que prever toda a imagem uma vez 6:36 novamente e simplesmente mesclamos essa previsão 6:39 máscara à nossa imagem inicial para obter o 6:41 rosto reenvelhecido esta máscara é o principal 6:43 razão pela qual sua abordagem é tão 6:45 melhor em preservar a pessoa 6:47 identidade, uma vez que limitam a sua 6:49 Campo de atuação da rede para o reaging 6:51 modificações apenas e não o todo 6:54 imagem ou até mesmo o rosto inteiro quando você 6:56 não pode torná-lo mais inteligente apenas torná-lo 6:59 é mais específico o mode doll é 7:01 treinado seguindo uma abordagem de arma de fogo que 7:03 significa que, conforme abordamos em muitos vídeos, 7:05 vai usar outro modelo que você vê aqui 7:08 à direita chamado de discriminador 7:10 treinados simultaneamente e acostumados a 7:12 calcule se a imagem de reenvelhecimento gerada 7:15 é semelhante ao que temos em nosso 7:17 conjunto de dados de treinamento basicamente avaliando seu 7:20 resultados para orientar o treinamento e 7:22 voila, é assim que Fran ajuda você a envelhecer 7:25 seu rosto em qualquer lugar entre 18 e 85 7:28 anos de idade, é claro que isso foi apenas um 7:30 visão geral simples desta nova Disney 7:32 publicação de pesquisa e eu recomendo 7:34 lendo seu excelente artigo para mais 7:36 análise de informações e resultados se você 7:39 não estão familiarizados com armas, sugiro 7:40 assistindo ao pequeno vídeo de introdução I 7:43 feito sobre eles obrigado por assistir 7:45 e vejo você na próxima vez com 7:47 outro papel incrível 7:48 [Música] 7:59 obrigada [Música]