AI hat gelernt, ein Lied aus einem Musikvideo wiederherzustellen

Wissenschaftler des MIT stellten das System der künstlichen Intelligenz (KI) Foley Music vor, das darauf basierend Musik generiert

Video ohne Ton von Musikern, die Instrumente spielen. Sie sagen, dass das Modell mit einer Vielzahl von Musikinstrumenten funktioniert und hinsichtlich Geschwindigkeit und Arbeitsqualität mehreren bestehenden Systemen überlegen ist.

Forscher glauben, dass ein KI-Modell dasErstellt Musik basierend auf menschlichen Bewegungen und kann zur Grundlage für verschiedene Anwendungen werden - vom automatischen Hinzufügen von Soundeffekten zu Videos bis hin zu einem umfassenden Erlebnis in der virtuellen Realität. Die Forscher stellen fest, dass Menschen diese Fähigkeit auch haben - zum Beispiel, wenn sie die Sprache einer Person an den Lippen verstehen.

Foley Music macht auf wichtige Punkte aufmerksamKörper (25 Punkte) und Finger (20 Punkte) als visuelle Zwischenankerpunkte, mit denen sie Körper- und Handbewegungen modelliert. Das System übersetzt diese Bewegungen dann unter Berücksichtigung der Lautstärke in Noten. So kann sie Akkordeon, Bassgitarre, Fagott, Cello, Gitarre, Klavier, Ukulele und andere Instrumente spielen.

Während der Experimente trainierten die Forscher FoleyMusik zu drei Datensätzen mit tausend Musikvideoclips in 11 Kategorien. So konnten sie ein Korpus von Videos unterschiedlicher Komplexität zusammenstellen - Anweisungen von der AtinPiano-Website, Amateurvideos von YouTube-Kanälen, Auszüge aus Konzerten und andere Daten.

Die Forscher haben Foley Music 450 hochgeladenVideo. Dann gaben sie die resultierende Musik an Wissenschaftler weiter, die das Ergebnis bewerteten. In einigen Fällen stellten sie fest, dass "die Musik wie ein Cover einer Qualitätsband ist".

Experten haben festgestellt, dass die von Foley Music erzeugte Musik schwer von tatsächlichen Aufnahmen zu unterscheiden ist. Darüber hinaus kann AI die Audioqualität, die semantische Ausrichtung und das Timing verbessern.

Siehe auch:

— Schauen Sie sich die 3D-Karte des Universums an: Es hat 20 Jahre gedauert, sie zu erstellen, und sie hat Wissenschaftler bereits überrascht

– Der Komet NEOWISE ist in Russland sichtbar. Wo kann man es sehen, wo man suchen und wie man ein Foto macht

— Drei Asteroiden fliegen auf die Erde zu und einer von ihnen ist potenziell gefährlich. Gibt es eine Bedrohung?