Apple hat ein neuronales Netzwerk namens NeuMan entwickelt, das aus kurzen Videos lernt und generieren kann
Um ein neuronales Netzwerk zu trainieren, reicht eine 10-sekündige Videoaufnahme mit einer bewegten Kamera aus. Das Programm extrahiert aus dem Video ein Bild einer Person und der Umgebung.
Danach kann NeuMan Clips synthetisieren, weiterbei denen derselbe Charakter unterschiedliche Aktionen ausführt. Zum Beispiel Tanzen, Salto oder Springen. Das neue Video hat weniger Schärfe, aber im Allgemeinen sehen sie wie echtes Filmmaterial von schlechter Qualität aus.
Demo-Video: Tanzender Mann. Videos: Apfel
Der Hauptzweck des Programms, wie angegebenEntwickler sind Anwendungen für Augmented Reality. Sie stellen auch fest, dass zwei NeRF-Modelle (neuroradiale Strahlung) verwendet werden, um das neuronale Netzwerk zu trainieren: Das erste untersucht eine Person und das zweite den Hintergrund. Mit Hilfe dieser Modelle lernt das neuronale Netz die grobe Geometrie einer Person und einer Szene. Und kann es dann in neuen Formen neu erstellen.
Demo-Video: Laden. Videos: Apfel
Gleichzeitig, so stellen die Forscher fest, hat die Haltung, die eine Person während der Aufnahme einnimmt, keinen Einfluss auf die Qualität des fertigen Videos.
Weiter lesen:
Der rekordverdächtige koronale Massenauswurf bei Beteigeuze ist 400 Milliarden Mal größer als die Sonne
Megalodon aß jeweils ein Tier von der Größe eines Killerwals
Everest fand DNA-Spuren, die dort nicht sein sollten