Een Facebook-onderzoeksgroep heeft een AI gemaakt genaamd Vid2Play die gamekarakters eruit kan laten zien
Hoe hebben ze het gedaan
Het team gebruikte twee neurale netwerken:Pose2Pose en Pose2Frame. Eerst wordt de video ingevoerd in Pose2Pose, dat is ontworpen om verschillende soorten acties te identificeren, zoals dansen, tennissen of schermen. Het systeem scheidt vervolgens de figuur van de persoon, samen met zijn schaduw en voorwerpen in zijn handen, van de achtergrond en plaatst deze op een zwarte achtergrond. Hierna kunt u de beweging van het object besturen met een joystick of toetsenbord.
Om het systeem te trainen was er maar één nodigmeerdere korte video's. De kunstmatige intelligentie kon andere mensen verwijderen en verschillende camerahoeken compenseren. Het onderzoek doet denken aan de functie in Adobe After Effects om onnodige elementen uit een video te verwijderen, zoals toeristen of vuilnisbakken.
Tot dusverre is de animatie niet perfect - de figuur ziet er uit als een glijdende en het bewegingsbereik is een beetje beperkt. Dit is echter een grote vooruitgang in vergelijking met eerdere pogingen om een personage uit de video te extraheren.
Met deze innovatie kunnen game-ontwikkelaars hun eigen personages creëren op basis van persoonlijke video's of hun favoriete persoonlijkheid van YouTube toevoegen. De bewegingen zullen realistischer zijn dan wanneer u de animatie handmatig maakt.