Apple har udviklet et neuralt netværk kaldet NeuMan, der lærer af korte videoer og kan generere
For at træne et neuralt netværk er et 10-sekunders videooptagelse med et bevægeligt kamera tilstrækkeligt. Programmet udtrækker et billede af en person og miljøet fra videoen.
Derefter kan NeuMan syntetisere klip, påhvor den samme karakter vil udføre forskellige handlinger. For eksempel dans, saltomortering eller hop. Den nye video har mindre skarphed, men generelt ligner de rigtige optagelser af dårlig kvalitet.
Demovideo: dansende mand. Video: Apple
Hovedformålet med programmet, som angivetudviklere er applikationer til augmented reality. De bemærker også, at to NeRF-modeller (neuroradial stråling) bruges til at træne det neurale netværk: den første af dem studerer en person, og den anden studerer baggrunden. Ved hjælp af disse modeller lærer det neurale netværk den grove geometri af en person og en scene. Og så kan genskabe det i nye former.
Demo video: opladning. Video: Apple
Samtidig, som forskerne bemærker, påvirker den kropsholdning, en person indtager under optagelsen, ikke kvaliteten af den færdige video.
Læs mere:
Rekordkoronal masseudslyngning ved Betelgeuse er 400 milliarder gange større end solen
Megalodon spiste et dyr på størrelse med en spækhugger ad gangen
Everest fandt spor af DNA, som ikke burde være der