En forskargrupp på Facebook har skapat en AI som heter Vid2Play som kan få spelkaraktärer att se ut
Hur gjorde de det
Teamet använde två neurala nätverk:Pose2Pose och Pose2Frame. Först matas videon in i Pose2Pose, som är utformad för att identifiera olika typer av handlingar som att dansa, spela tennis eller fäktning. Systemet separerar sedan personens figur, tillsammans med hans skugga och föremål i händerna, från bakgrunden och infogar dem på en svart bakgrund. Efter detta kan du styra objektets rörelse med hjälp av en joystick eller tangentbord.
För att träna systemet tog det baraflera korta filmer. Den artificiella intelligensen kunde ta bort andra människor och kompensera för olika kameravinklar. Studien påminner om funktionen i Adobe After Effects för att ta bort onödiga element från en video, som turister eller papperskorgar.
Hittills är animeringen inte perfekt - figuren ser ut som en glidande och rörelsen är lite begränsad. Detta är dock en stor framsteg jämfört med tidigare försök att extrahera en karaktär från videon.
Denna innovation gör det möjligt för spelutvecklare att skapa sina egna karaktärer baserat på personliga videor eller lägga till sin favoritpersonlighet från YouTube. Rörelserna blir mer realistiska än när du skapar animationen manuellt.