Apple a dezvoltat o rețea neuronală numită NeuMan care învață din videoclipuri scurte și poate genera
Pentru a antrena o rețea neuronală, este suficientă o înregistrare video de 10 secunde cu o cameră în mișcare. Programul extrage o imagine a unei persoane și a mediului din videoclip.
După aceea, NeuMan poate sintetiza clipuripe care același personaj va efectua acțiuni diferite. De exemplu, dans, sărituri sau sărituri. Noul videoclip are mai puțină claritate, dar, în general, arată ca niște filmări reale de proastă calitate.
Video demonstrativ: omul dansant. Video: Apple
Scopul principal al programului, așa cum este indicatdezvoltatorii sunt aplicații pentru realitate augmentată. Ei observă, de asemenea, că două modele NeRF (radiații neuroradiale) sunt folosite pentru a antrena rețeaua neuronală: primul dintre ele studiază o persoană, iar al doilea studiază fundalul. Cu ajutorul acestor modele, rețeaua neuronală învață geometria brută a unei persoane și a unei scene. Și apoi îl puteți recrea în forme noi.
Video demonstrativ: încărcare. Video: Apple
În același timp, după cum notează cercetătorii, postura pe care o ia o persoană în timpul filmării nu afectează calitatea videoclipului finit.
Citeste mai mult:
Ejecția record de masă coronală la Betelgeuse este de 400 de miliarde de ori mai mare decât soarele
Megalodon a mâncat un animal de mărimea unei balene ucigașe la un moment dat
Everest a găsit urme de ADN care nu ar trebui să fie acolo