Facebook hat eine künstliche Intelligenz geschaffen, die aus echten Menschen verwaltbare Spielfiguren macht.

Eine Facebook-Forschungsgruppe hat eine KI namens Vid2Play erstellt, mit der Spielcharaktere erstellt werden können

Videos mit echten Menschen.

Wie haben sie das gemacht?

Das Team verwendete zwei neuronale Netzwerke: Pose2Pose und Pose2Frame. Zunächst wird das Video in Pose2Pose serviert, um verschiedene Arten von Aktivitäten wie Tanzen, Tennis oder Fechten zu identifizieren. Dann trennt das System die Figur der Person mit Schatten und Gegenständen in den Händen vom Hintergrund und fügt sie auf einen schwarzen Hintergrund ein. Danach können Sie die Bewegung des Objekts mit dem Joystick oder der Tastatur steuern.

Für das Training hat das System nur gedauertmehrere kurze videos. Künstliche Intelligenz konnte andere Personen entfernen und verschiedene Kamerawinkel ausgleichen. Die Studie ähnelt einer Funktion in Adobe After Effects, um unnötige Elemente aus Videos wie Touristen oder Mülltonnen zu entfernen.

Bisher ist die Animation nicht perfekt - die Figur sieht aus wie eine gleitende und der Bewegungsumfang ist etwas eingeschränkt. Dies ist jedoch ein großer Fortschritt im Vergleich zu früheren Versuchen, einen Charakter aus dem Video zu extrahieren.

Mit dieser Innovation können Spieleentwickler ihre Helden basierend auf persönlichen Videos erstellen oder Ihre Lieblingspersönlichkeit von YouTube hinzufügen. Die Bewegungen werden realistischer als beim manuellen Erstellen der Animation.