Apple heeft een neuraal netwerk ontwikkeld met de naam NeuMan, dat leert van korte video's engenereren
Om een neuraal netwerk te trainen, is een video van 10 seconden die is opgenomen door een bewegende camera voldoende.Het programma haalt een beeld van een persoon en de omgeving uit de video.
Daarna kan NeuMan clips synthetiseren, opwaarbij hetzelfde personage verschillende acties zal uitvoeren. Bijvoorbeeld dansen, salto's maken of springen. De nieuwe video heeft minder scherpte, maar over het algemeen zien ze eruit als echte beelden van slechte kwaliteit.
Demovideo: dansende man. Video: Appel
Het hoofddoel van het programma, zoals aangegevendevelopers zijn applicaties voor augmented reality. Ze merken ook op dat twee NeRF-modellen (neuroradiale straling) worden gebruikt om het neurale netwerk te trainen: de eerste bestudeert een persoon en de tweede bestudeert de achtergrond. Met behulp van deze modellen leert het neurale netwerk de ruwe geometrie van een persoon en een scène. En dan kan het opnieuw worden gemaakt in nieuwe vormen.
Demovideo: opladen. Video: Appel
Tegelijkertijd, zoals de onderzoekers opmerken, heeft de houding die een persoon aanneemt tijdens het fotograferen geen invloed op de kwaliteit van de voltooide video.
Lees verder:
Record coronale massa-ejectie bij Betelgeuze is 400 miljard keer groter dan de zon
Megalodon at tegelijk een dier ter grootte van een orka
Everest vond sporen van DNA die er niet zouden moeten zijn