Um grupo de pesquisa do Facebook criou uma IA chamada Vid2Play que pode fazer os personagens do jogo parecerem
Como eles fizeram isso?
A equipe usou duas redes neurais:Pose2Pose e Pose2Frame. O vídeo é inserido primeiro no Pose2Pose, que foi projetado para identificar diferentes tipos de ações, como dançar, jogar tênis ou esgrima. O sistema então separa a figura da pessoa, junto com sua sombra e objetos em suas mãos, do fundo e os insere em um fundo preto. Depois disso, você pode controlar o movimento do objeto usando um joystick ou teclado.
Para treinar o sistema foi necessário apenasvários vídeos curtos. A inteligência artificial foi capaz de remover outras pessoas e compensar diferentes ângulos de câmera. O estudo lembra a função do Adobe After Effects para remover elementos desnecessários de um vídeo, como turistas ou latas de lixo.
Até agora, a animação não é perfeita - a figura parece um slide e a amplitude de movimento é um pouco limitada. No entanto, esse é um grande progresso em comparação com tentativas anteriores de extrair um personagem do vídeo.
Esta inovação permitirá aos desenvolvedores de jogos criar seus próprios personagens com base em vídeos pessoais ou adicionar sua personalidade favorita do YouTube. Os movimentos serão mais realistas do que ao criar a animação manualmente.