Forskare från MIT presenterade systemet för artificiell intelligens (AI) Foley Music, som genererar musik baserad på
Forskare tror att en AI-modell somskapar musik baserad på mänskliga rörelser, kan bli basen för flera applikationer - från att automatiskt lägga till ljudeffekter i videor till att skapa uppslukande upplevelser i virtuell verklighet. Forskarna noterar att människor också har denna färdighet - till exempel när de förstår en persons tal av läpparna.
Foley Music uppmärksammar viktiga punkterkropp (25 poäng) och fingrar (20 poäng) som mellanliggande visuella förankringspunkter, som hon använder för att modellera kropps- och handrörelser. Systemet översätter sedan dessa rörelser till musiknoter med hänsyn till volymen. Så det kan spela dragspel, basgitarr, fagott, cello, gitarr, piano, ukulelele och andra instrument.
Under experimenten utbildade forskarna FoleyMusik till tre datamängder som innehåller tusen musikvideoklipp i 11 kategorier. Så de kunde samla en samling videor av varierande komplexitet - instruktioner från AtinPiano-webbplatsen, amatörvideor från YouTube-kanaler, utdrag från konserter och annan information.
Forskare laddade upp Foley Music 450video. Sedan gav de den resulterande musiken till forskarna, som utvärderade resultatet. I vissa fall noterade de att "musiken är som ett omslag från ett kvalitetsband."
Experter har funnit att Foley Musics genererade musik är svår att skilja från faktiska inspelningar. Dessutom kan AI förbättra ljudkvaliteten, semantisk inriktning och timing.
Se även:
— Titta på 3D-kartan över universum: det tog 20 år att sammanställa den och den har redan överraskat forskare
— Comet NEOWISE är synlig i Ryssland. Var man kan se den, var man ska titta och hur man tar ett foto
— Tre asteroider flyger mot jorden, och en av dem är potentiellt farlig. Finns det ett hot?