Apple ha sviluppato una rete neurale chiamata NeuMan, che impara da brevi video e puògenerare
Per addestrare una rete neurale, è sufficiente un video di 10 secondi girato da una telecamera in movimento.Il programma estrae un'immagine di una persona e dell'ambiente dal video.
Dopodiché, NeuMan può sintetizzare clip, sucui lo stesso personaggio eseguirà azioni diverse. Ad esempio, ballare, fare capriole o saltare. Il nuovo video ha meno nitidezza, ma in generale sembrano veri filmati di scarsa qualità.
Video dimostrativo: uomo che balla. Video: Mela
Lo scopo principale del programma, come indicatogli sviluppatori sono applicazioni per la realtà aumentata. Notano anche che due modelli NeRF (radiazioni neuroradiali) vengono utilizzati per addestrare la rete neurale: il primo studia una persona e il secondo studia il background. Con l'aiuto di questi modelli, la rete neurale apprende la geometria approssimativa di una persona e di una scena. E poi può ricrearlo in nuove forme.
Video dimostrativo: ricarica. Video: Mela
Allo stesso tempo, come notano i ricercatori, la postura che una persona assume durante le riprese non influisce sulla qualità del video finito.
Leggi di più:
L'espulsione di massa coronale record a Betelgeuse è 400 miliardi di volte più grande del sole
Megalodon ha mangiato un animale delle dimensioni di un'orca alla volta
L'Everest ha trovato tracce di DNA che non dovrebbero esserci