Apple разработи невронна мрежа, наречена NeuMan, която се учи от кратки видеоклипове и може да генерира
За обучение на невронна мрежа е достатъчно 10-секундно видео, заснето с движеща се камера. Програмата извлича изображение на човек и околната среда от видеото.
След това NeuMan може да синтезира клипове, накоито един и същ герой ще извършва различни действия. Например танци, салто или скачане. Новото видео е с по-малка острота, но като цяло изглеждат като истински кадри с лошо качество.
Демо видео: танцуващ човек. Видео: Apple
Основната цел на програмата, както е посоченоразработчиците са приложения за добавена реалност. Те също така отбелязват, че два модела NeRF (неврорадиална радиация) се използват за обучение на невронната мрежа: първият от тях изучава човек, а вторият изучава фона. С помощта на тези модели невронната мрежа научава грубата геометрия на човек и сцена. И след това може да го пресъздаде в нови форми.
Демо видео: зареждане. Видео: Apple
В същото време, както отбелязват изследователите, позата, която човек заема по време на снимане, не влияе на качеството на готовото видео.
Прочетете още:
Рекордното изхвърляне на коронална маса в Бетелгейзе е 400 милиарда пъти по-голямо от слънцето
Мегалодон изяде животно с размерите на косатка наведнъж
Еверест откри следи от ДНК, които не би трябвало да са там