Un gruppo di ricerca su Facebook ha creato un'intelligenza artificiale chiamata Vid2Play in grado di far assomigliare i personaggi del gioco
Come hanno fatto?
Il team ha utilizzato due reti neurali:Pose2Pose e Pose2Frame. Innanzitutto, il video viene inserito in Pose2Pose, progettato per identificare diversi tipi di azioni come ballare, giocare a tennis o scherma. Il sistema quindi separa la figura della persona, insieme alla sua ombra e agli oggetti nelle sue mani, dallo sfondo e li inserisce su uno sfondo nero. Successivamente, puoi controllare il movimento dell'oggetto utilizzando un joystick o una tastiera.
Per addestrare il sistema è bastato solodiversi brevi video. L'intelligenza artificiale è stata in grado di allontanare altre persone e compensare i diversi angoli di ripresa. Lo studio ricorda la funzione di Adobe After Effects per rimuovere elementi non necessari da un video, come turisti o bidoni della spazzatura.
Finora, l'animazione non è perfetta - la figura sembra scorrevole e l'intervallo di movimento è un po 'limitato. Tuttavia, questo è un grande progresso rispetto ai precedenti tentativi di estrarre un personaggio dal video.
Questa innovazione consentirà agli sviluppatori di giochi di creare i propri personaggi sulla base di video personali o di aggiungere la loro personalità preferita da YouTube. I movimenti saranno più realistici rispetto a quando si crea manualmente l'animazione.