Un grup de cercetare Facebook a creat un AI numit Vid2Play, care poate face ca personajele din joc să semene
Cum au făcut-o?
Echipa a folosit două rețele neuronale:Pose2Pose și Pose2Frame. În primul rând, videoclipul este introdus în Pose2Pose, care este conceput pentru a identifica diferite tipuri de acțiuni, cum ar fi dansul, tenisul sau scrima. Apoi, sistemul separă figura persoanei, împreună cu umbra și obiectele din mâinile sale, de fundal și le inserează pe un fundal negru. După aceasta, puteți controla mișcarea obiectului folosind un joystick sau tastatură.
Pentru a antrena sistemul a fost nevoie doarmai multe videoclipuri scurte. Inteligența artificială a reușit să elimine alte persoane și să compenseze diferitele unghiuri ale camerei. Studiul amintește de funcția din Adobe After Effects de a elimina elementele inutile dintr-un videoclip, cum ar fi turiștii sau coșurile de gunoi.
Pana in prezent, animatia nu este perfecta - figura arata ca o alunecare si gama de miscare este putin limitata. Cu toate acestea, acesta este un progres important în comparație cu încercările anterioare de a extrage un personaj din videoclip.
Această inovație va permite dezvoltatorilor de jocuri să-și creeze propriile personaje pe baza videoclipurilor personale sau să adauge personalitatea lor preferată de pe YouTube. Mișcările vor fi mai realiste decât la crearea manuală a animației.