L'IA a appris à restaurer une chanson à partir d'un clip vidéo

Des scientifiques du MIT ont présenté le système d'intelligence artificielle (IA) Foley Music, qui génère de la musique basée sur

vidéo sans son de musiciens jouant d'instruments. Ils disent que le modèle fonctionne avec une variété d'instruments de musique et est supérieur à plusieurs systèmes existants en termes de rapidité et de qualité de travail.

Les chercheurs pensent qu'un modèle d'IA quicrée de la musique basée sur les mouvements humains, peut devenir la base de plusieurs applications - de l'ajout automatique d'effets sonores aux vidéos à la création d'expériences immersives en réalité virtuelle. Les chercheurs notent que les gens ont également cette compétence - par exemple, lorsqu'ils comprennent le discours d'une personne par les lèvres.

Foley Music attire l'attention sur des points cléscorps (25 points) et doigts (20 points) comme points d'ancrage visuel intermédiaires, qu'elle utilise pour modéliser les mouvements du corps et des bras. Le système traduit ensuite ces mouvements en notes de musique, en tenant compte du volume. Ainsi, il peut jouer de l'accordéon, de la guitare basse, du basson, du violoncelle, de la guitare, du piano, du ukulélé et d'autres instruments.

Au cours des expériences, les chercheurs ont formé FoleyMusique à trois ensembles de données contenant un millier de clips vidéo musicaux dans 11 catégories. Ainsi, ils ont pu assembler un corpus de vidéos de complexité variable - instructions du site AtinPiano, vidéos amateurs de chaînes YouTube, extraits de concerts et autres données.

Les chercheurs ont téléchargé Foley Music 450vidéo. Ensuite, ils ont donné la musique résultante aux scientifiques, qui ont évalué le résultat. Dans certains cas, ils ont noté que "la musique est comme une reprise d'un groupe de qualité".

Les experts ont constaté que la musique générée par Foley Music est difficile à distinguer des enregistrements réels. De plus, l'IA peut améliorer la qualité audio, l'alignement sémantique et la synchronisation.

Voir aussi:

— Regardez la carte 3D de l'Univers : il a fallu 20 ans pour la réaliser et elle a déjà surpris les scientifiques

— La comète NEOWISE est visible en Russie. Où le voir, où chercher et comment prendre une photo

— Trois astéroïdes volent vers la Terre, et l'un d'eux est potentiellement dangereux. Y a-t-il une menace ?