Apple vyvinul neuronovou síť s názvem NeuMan, která se učí z krátkých videí a umí generovat
K trénování neuronové sítě stačí 10sekundové video natočené pohybující se kamerou. Program extrahuje z videa obrázek osoby a prostředí.
Poté může NeuMan syntetizovat klipykterá stejná postava bude provádět různé akce. Například tanec, salto nebo skoky. Nové video má menší ostrost, ale obecně vypadají jako skutečné záběry nevalné kvality.
Demo video: tančící muž. Video: Apple
Hlavní účel programu, jak je uvedenovývojáři jsou aplikace pro rozšířenou realitu. Poznamenávají také, že dva modely NeRF (neuroradiální záření) se používají k trénování neuronové sítě: první z nich studuje osobu a druhý studuje pozadí. S pomocí těchto modelů se neuronová síť učí hrubou geometrii osoby a scény. A pak to může znovu vytvořit v nových formách.
Demo video: nabíjení. Video: Apple
Zároveň, jak vědci poznamenávají, postoj, který člověk při natáčení zaujme, neovlivňuje kvalitu hotového videa.
Přečtěte si více:
Rekordní výron koronální hmoty v Betelgeuse je 400 miliardkrát větší než Slunce
Megalodon sežral najednou zvíře velikosti kosatky
Everest našel stopy DNA, které by tam neměly být