Apple ha desarrollado una red neuronal llamada NeuMan que aprende de vídeos cortos y puede generar
Para entrenar una red neuronal, basta con un vídeo de 10 segundos grabado con una cámara en movimiento. El programa extrae una imagen de una persona y el entorno del vídeo.
Después de eso, NeuMan puede sintetizar clips, enque un mismo personaje realizará distintas acciones. Por ejemplo, bailar, dar volteretas o saltar. El nuevo video tiene menos nitidez, pero en general parecen imágenes reales de mala calidad.
Video de demostración: hombre bailando. Vídeo: manzana
El objetivo principal del programa, como se indicaLos desarrolladores son aplicaciones para la realidad aumentada. También señalan que se utilizan dos modelos NeRF (radiación neurorradial) para entrenar la red neuronal: el primero de ellos estudia a una persona y el segundo estudia el fondo. Con la ayuda de estos modelos, la red neuronal aprende la geometría aproximada de una persona y una escena. Y luego puede recrearlo en nuevas formas.
Vídeo de demostración: carga. Vídeo: manzana
Al mismo tiempo, como señalan los investigadores, la postura que toma una persona durante la filmación no afecta la calidad del video terminado.
Lee mas:
La eyección de masa coronal récord en Betelgeuse es 400 mil millones de veces más grande que el sol
Megalodon se comió un animal del tamaño de una orca a la vez
Everest encontró rastros de ADN que no deberían estar allí