Az MIT tudósai bemutatták a Foley Music mesterséges intelligencia (AI) rendszert, amelyZene alapján
A kutatók úgy vélik, hogy egy AI modell eztemberi mozgalmakon alapuló zenét hoz létre, és számos alkalmazás alapjául szolgálhat - a hanghatások automatikus hozzáadása a videóktól a magával ragadó élmények létrehozásához a virtuális valóságban. A kutatók megjegyzik, hogy az embereknek is ez a képességük van - például amikor az ajkukból megértik az ember beszédét.
A Foley Music felhívja a figyelmet a kulcsfontosságú pontokraa test (25 pont) és az ujjak (20 pont) mint köztes vizuális rögzítési pontok, amelyeket a test és a kar mozgásának modellezésére használ. A rendszer ezután ezeket a mozgásokat hangjegyekké alakítja, figyelembe véve a hangerőt. Tehát harmonikát, basszusgitárt, fagottot, csellót, gitárt, zongorát, ukulelele-t és egyéb hangszereket játszhat.
A kísérletek során a kutatók Foleyt kiképeztékZene három adathalmazba, amely 11 kategóriában tartalmaz ezer zenei videoklipet. Tehát képesek voltak összeállítani különböző bonyolultságú videókat - utasításokat az AtinPiano weboldalról, amatőr videókat a YouTube csatornáktól, kivonatokat a koncertekről és egyéb adatokat.
A kutatók feltöltötték a Foley Music 450-etvideó. Aztán a kapott zenét átadták a tudósoknak, akik kiértékelték az eredményt. Egyes esetekben rámutattak, hogy "a zene olyan, mint egy minőségi együttes borítója".
A szakértők úgy találták, hogy a Foley Music által létrehozott zenét nehéz megkülönböztetni a tényleges felvételektől. Mi több, az AI javíthatja a hangminőséget, a szemantikai igazítást és az időzítést.
Lásd még:
" Nézd meg az Univerzum 3D-s térképét: 20 évig tartott, és már meglepte a tudósokat
— A NEOWISE üstökös látható Oroszországban. Hol lehet megnézni, hol lehet megnézni és hogyan lehet fényképezni
— Három aszteroida repül a Föld felé, és egyikük potenciálisan veszélyes. Van fenyegetés?