Un grupo de investigación de Facebook ha creado una IA llamada Vid2Play que puede hacer que los personajes de los juegos parezcan
Como lo hicieron
El equipo utilizó dos redes neuronales:Pose2Pose y Pose2Frame. En primer lugar, el vídeo se introduce en Pose2Pose, que está diseñado para identificar diferentes tipos de acciones como bailar, jugar tenis o esgrima. Luego, el sistema separa la figura de la persona, junto con su sombra y los objetos en sus manos, del fondo y los inserta sobre un fondo negro. Después de esto, puedes controlar el movimiento del objeto usando un joystick o un teclado.
Para entrenar el sistema sólo hizo faltavarios vídeos cortos. La inteligencia artificial pudo eliminar a otras personas y compensar diferentes ángulos de la cámara. El estudio recuerda a la función de Adobe After Effects para eliminar elementos innecesarios de un vídeo, como turistas o cubos de basura.
Hasta ahora, la animación no es perfecta: la figura parece deslizarse y el rango de movimiento es un poco limitado. Sin embargo, este es un gran progreso en comparación con intentos anteriores de extraer un personaje del video.
Esta innovación permitirá a los desarrolladores de juegos crear sus propios personajes basados en vídeos personales o agregar su personalidad favorita de YouTube. Los movimientos serán más realistas que al crear la animación manualmente.