Firma Apple opracowała sieć neuronową o nazwie NeuMan, która uczy się na podstawie krótkich filmów i może generować
Do wytrenowania sieci neuronowej wystarczy 10-sekundowy film nagrany poruszającą się kamerą. Program wyodrębnia z wideo obraz osoby i otoczenia.
Następnie NeuMan może syntetyzować klipy, dalejw którym ta sama postać będzie wykonywać różne czynności. Na przykład taniec, salto lub skakanie. Nowe wideo ma mniej ostrości, ale ogólnie wygląda jak prawdziwy materiał o kiepskiej jakości.
Demo wideo: tańczący mężczyzna. Wideo: Jabłko
Główny cel programu, jak wskazanoprogramiści to aplikacje dla rozszerzonej rzeczywistości. Zauważają również, że do trenowania sieci neuronowej wykorzystywane są dwa modele NeRF (promieniowania neuroradialnego): pierwszy z nich bada osobę, a drugi tło. Za pomocą tych modeli sieć neuronowa uczy się przybliżonej geometrii osoby i sceny. A potem można go odtworzyć w nowych formach.
Film demonstracyjny: ładowanie. Wideo: Jabłko
Jednocześnie, jak zauważają naukowcy, postawa, jaką dana osoba przyjmuje podczas kręcenia, nie wpływa na jakość gotowego filmu.
Czytaj więcej:
Rekordowy koronalny wyrzut masy w Betelgeuse jest 400 miliardów razy większy niż Słońce
Megalodon zjadał jednorazowo zwierzę wielkości orki
Everest znalazł ślady DNA, których nie powinno tam być