Apple har utvecklat ett neuralt nätverk som heter NeuMan som lär sig från korta videor och kan generera
För att träna ett neuralt nätverk räcker det med en 10-sekunders videoinspelning med en rörlig kamera. Programmet extraherar en bild av en person och miljön från videon.
Efter det kan NeuMan syntetisera klipp, påsom samma karaktär kommer att utföra olika handlingar. Till exempel dans, kullerbytta eller hoppa. Den nya videon har mindre skärpa, men i allmänhet ser de ut som riktiga bilder av dålig kvalitet.
Demovideo: dansande man. Video: Apple
Huvudsyftet med programmet, som angesutvecklare är applikationer för förstärkt verklighet. De noterar också att två NeRF-modeller (neuroradial strålning) används för att träna det neurala nätverket: den första av dem studerar en person och den andra studerar bakgrunden. Med hjälp av dessa modeller lär sig det neurala nätverket den grova geometrin hos en person och en scen. Och sedan kan återskapa det i nya former.
Demovideo: laddning. Video: Apple
Samtidigt, som forskarna noterar, påverkar inte den hållning som en person tar under inspelningen kvaliteten på den färdiga videon.
Läs mer:
Rekordkoronal massutkastning vid Betelgeuse är 400 miljarder gånger större än solen
Megalodon åt ett djur som var lika stort som en späckhuggare åt gången
Everest hittade spår av DNA som inte borde finnas där