Az Apple kifejlesztett egy NeuMan nevű neurális hálózatot, amely rövid videókból tanul és generál
Egy neurális hálózat betanításához elegendő egy mozgó kamerával felvett 10 másodperces videó. A program a videóból kivon egy képet egy személyről és a környezetről.
Ezt követően a NeuMan képes klipeket szintetizálniamelyekben ugyanaz a karakter különböző cselekvéseket hajt végre. Például táncolni, bukfencezni vagy ugrálni. Az új videó kevésbé éles, de összességében valódi, rossz minőségű felvételnek tűnnek.
Demo videó: táncoló ember. Videó: Apple
A program fő célja, ahogy jeleztükA fejlesztők a kiterjesztett valósághoz való alkalmazások. Azt is megjegyzik, hogy két NeRF (neuroradiális sugárzás) modellt használnak a neurális hálózat képzésére: az első egy személyt, a második pedig a hátteret. E modellek segítségével a neurális hálózat megtanulja egy személy és egy jelenet durva geometriáját. Majd új formákban újraalkothatja.
Demo videó: töltés. Videó: Apple
Ugyanakkor, amint azt a kutatók megjegyzik, az a testtartás, amelyet egy személy felvétel közben vesz, nem befolyásolja a kész videó minőségét.
Olvass tovább:
A Betelgeuse-nél elért rekord koronális tömeg 400 milliárdszor nagyobb, mint a Napé
Megalodon egy kardszárnyú bálna méretű állatot evett egyszerre
Az Everest DNS-nyomokat talált, amelyeknek nem kellene ott lenniük