Un groupe de recherche de Facebook a créé une IA appelée Vid2Play qui peut faire ressembler les personnages d'un jeu à
Comment l'ont-ils fait
L'équipe a utilisé deux réseaux de neurones :Pose2Pose et Pose2Frame. Tout d'abord, la vidéo est intégrée à Pose2Pose, conçu pour identifier différents types d'actions comme la danse, le tennis ou l'escrime. Le système sépare ensuite la silhouette de la personne, ainsi que son ombre et les objets dans ses mains, de l'arrière-plan et les insère sur un fond noir. Après cela, vous pouvez contrôler le mouvement de l'objet à l'aide d'un joystick ou d'un clavier.
Pour entraîner le système, il suffisaitplusieurs courtes vidéos. L'intelligence artificielle était capable de supprimer d'autres personnes et de compenser différents angles de caméra. L'étude n'est pas sans rappeler la fonction d'Adobe After Effects permettant de supprimer les éléments inutiles d'une vidéo, comme les touristes ou les poubelles.
Jusqu'à présent, l'animation n'est pas parfaite - la silhouette a l'air d'être glissante et l'amplitude de mouvement est un peu limitée. Cependant, cela représente un progrès considérable par rapport aux tentatives précédentes d'extraire un personnage de la vidéo.
Cette innovation permettra aux développeurs de jeux de créer leurs propres personnages à partir de vidéos personnelles ou d'ajouter leur personnalité préférée provenant de YouTube. Les mouvements seront plus réalistes que lors de la création manuelle de l'animation.