Apple a développé un réseau neuronal appelé NeuMan qui apprend à partir de courtes vidéos et peut générer
Pour entraîner un réseau de neurones, une vidéo de 10 secondes tournée avec une caméra en mouvement suffit. Le programme extrait une image d'une personne et de l'environnement de la vidéo.
Après cela, NeuMan peut synthétiser des clips, surlequel le même personnage effectuera des actions différentes. Par exemple, danser, faire des sauts périlleux ou sauter. La nouvelle vidéo a moins de netteté, mais en général, elle ressemble à de vraies images de mauvaise qualité.
Vidéo de démonstration : homme qui danse. Vidéo : Pomme
L'objectif principal du programme, tel qu'indiquéles développeurs sont des applications de réalité augmentée. Ils notent également que deux modèles NeRF (radiation neuroradiale) sont utilisés pour entraîner le réseau de neurones : le premier étudie une personne et le second étudie le fond. À l'aide de ces modèles, le réseau de neurones apprend la géométrie approximative d'une personne et d'une scène. Et puis peut le recréer sous de nouvelles formes.
Vidéo de démonstration : chargement. Vidéo : Pomme
Dans le même temps, comme le notent les chercheurs, la posture qu'une personne adopte pendant le tournage n'affecte pas la qualité de la vidéo finale.
Lire la suite:
L'éjection de masse coronale record à Bételgeuse est 400 milliards de fois plus grande que le soleil
Megalodon a mangé un animal de la taille d'un épaulard à la fois
Everest a trouvé des traces d'ADN qui ne devraient pas être là