Eine Facebook-Forschungsgruppe hat eine KI namens Vid2Play entwickelt, mit der Spielcharaktere aussehen können
Wie haben sie das gemacht?
Das Team nutzte zwei neuronale Netze:Pose2Pose und Pose2Frame. Zunächst wird das Video in Pose2Pose eingespeist, das verschiedene Arten von Aktionen wie Tanzen, Tennisspielen oder Fechten identifizieren soll. Das System trennt dann die Figur der Person zusammen mit ihrem Schatten und den Objekten in ihren Händen vom Hintergrund und fügt sie auf einem schwarzen Hintergrund ein. Anschließend können Sie die Bewegung des Objekts mit einem Joystick oder einer Tastatur steuern.
Um das System zu trainieren, brauchte es nurmehrere kurze Videos. Die künstliche Intelligenz war in der Lage, andere Personen zu entfernen und unterschiedliche Kamerawinkel auszugleichen. Die Studie erinnert an die Funktion in Adobe After Effects, unnötige Elemente wie Touristen oder Mülltonnen aus einem Video zu entfernen.
Bisher ist die Animation nicht perfekt - die Figur sieht aus wie eine gleitende und der Bewegungsumfang ist etwas eingeschränkt. Dies ist jedoch ein großer Fortschritt im Vergleich zu früheren Versuchen, einen Charakter aus dem Video zu extrahieren.
Diese Innovation ermöglicht es Spieleentwicklern, ihre eigenen Charaktere auf der Grundlage persönlicher Videos zu erstellen oder ihre Lieblingspersönlichkeit von YouTube hinzuzufügen. Die Bewegungen werden realistischer sein als bei der manuellen Erstellung der Animation.