Apple vyvinul neurónovú sieť s názvom NeuMan, ktorá sa učí z krátkych videí a dokáže generovať
Na trénovanie neurónovej siete postačí 10-sekundové video natočené pohyblivou kamerou. Program extrahuje z videa obraz osoby a prostredia.
Potom môže NeuMan syntetizovať klipyktorá tá istá postava bude vykonávať rôzne akcie. Napríklad tanec, salto či skoky. Nové video má menšiu ostrosť, no vo všeobecnosti vyzerajú ako reálne zábery nízkej kvality.
Demo video: tancujúci muž. Video: Apple
Hlavný účel programu, ako je uvedenévývojári sú aplikácie pre rozšírenú realitu. Poznamenávajú tiež, že dva modely NeRF (neuroradiálne žiarenie) sa používajú na trénovanie neurónovej siete: prvý z nich študuje osobu a druhý študuje pozadie. Pomocou týchto modelov sa neurónová sieť učí hrubú geometriu osoby a scény. A potom ho môžete znovu vytvoriť v nových formách.
Demo video: nabíjanie. Video: Apple
Zároveň, ako poznamenávajú vedci, pozícia, ktorú človek zaujme počas natáčania, neovplyvňuje kvalitu hotového videa.
Čítaj viac:
Rekordný výron koronálnej hmoty v Betelgeuse je 400 miliárd krát väčší ako Slnko
Megalodon zožral naraz zviera veľkosti kosatky
Everest našiel stopy DNA, ktoré by tam nemali byť