Facebook a créé une intelligence artificielle qui transforme des personnes réelles en personnages de jeu gérables.

Un groupe de recherche sur Facebook a créé une IA appelée Vid2Play, qui permet de créer des personnages de jeu sur

vidéos basées sur de vraies personnes.

Comment l'ont-ils fait

L'équipe a utilisé deux réseaux de neurones: Pose2Pose et Pose2Frame. Tout d'abord, la vidéo est diffusée dans Pose2Pose, conçue pour identifier différents types d'activités telles que la danse, le tennis et l'escrime. Ensuite, le système sépare l’arrière-plan de la personne, de son ombre et des objets situés dans ses mains, et les insère sur un fond noir. Après cela, vous pouvez contrôler le mouvement de l'objet avec le joystick ou le clavier.

Il a fallu un total de formation pour le système.plusieurs courtes vidéos. L'intelligence artificielle a réussi à éloigner d'autres personnes et à compenser les différents angles de la caméra. L'étude ressemble à une fonctionnalité d'Adobe After Effects permettant de supprimer des éléments inutiles de vidéos, tels que des touristes ou des poubelles.

Jusqu'à présent, l'animation n'est pas parfaite - la silhouette a l'air d'être glissante et l'amplitude de mouvement est un peu limitée. Cependant, cela représente un progrès considérable par rapport aux tentatives précédentes d'extraire un personnage de la vidéo.

Cette innovation permettra aux développeurs de jeux de créer leurs héros à partir de vidéos personnelles ou d'ajouter votre personnalité préférée à partir de YouTube. Les mouvements seront plus réalistes que lors de la création manuelle de l'animation.