Apple har utviklet et nevralt nettverk kalt NeuMan som lærer av korte videoer og kan generere
For å trene et nevralt nettverk er et 10-sekunders videoopptak med et bevegelig kamera tilstrekkelig. Programmet trekker ut et bilde av en person og miljøet fra videoen.
Etter det kan NeuMan syntetisere klipp, påsom samme karakter vil utføre forskjellige handlinger. For eksempel dans, salto eller hopping. Den nye videoen har mindre skarphet, men generelt ser de ut som ekte opptak av dårlig kvalitet.
Demovideo: dansende mann. Video: Apple
Hovedformålet med programmet, som angittutviklere er applikasjoner for utvidet virkelighet. De bemerker også at to NeRF-modeller (nevroradial stråling) brukes til å trene det nevrale nettverket: den første studerer en person, og den andre studerer bakgrunnen. Ved hjelp av disse modellene lærer det nevrale nettverket den grove geometrien til en person og en scene. Og så kan gjenskape det i nye former.
Demovideo: lader. Video: Apple
Samtidig, som forskerne bemerker, påvirker ikke holdningen en person tar under opptak kvaliteten på den ferdige videoen.
Les mer:
Rekordkoronal masseutkast ved Betelgeuse er 400 milliarder ganger større enn solen
Megalodon spiste et dyr på størrelse med en spekkhogger om gangen
Everest fant spor av DNA som ikke skulle være der