MIT mokslininkai pristatė dirbtinio intelekto (DI) sistemą Foley Music, kuri kuria muziką pagal
Tyrėjai mano, kad PG modelis, kuriskuria muziką, paremtą žmogaus judesiais, gali tapti kelių programų pagrindu - pradedant automatiškai pridedant garso efektus prie vaizdo įrašų ir sukuriant svaiginančią patirtį virtualioje realybėje. Tyrėjai pastebi, kad žmonės taip pat turi šį įgūdį - pavyzdžiui, kai supranta žmogaus kalbą iš lūpų.
„Foley Music“ atkreipia dėmesį į pagrindinius dalykuskūnas (25 taškai) ir pirštai (20 taškų) kaip tarpiniai vaizdiniai tvirtinimo taškai, kuriuos ji naudoja kūno ir rankos judesiams modeliuoti. Tada sistema šiuos judesius paverčia muzikinėmis natomis, atsižvelgdama į garsumą. Taigi jis gali groti akordeonu, bosine gitara, fagotu, violončele, gitara, fortepijonu, ukulelele ir kitais instrumentais.
Eksperimentų metu tyrėjai mokė FoleyMuzika trimis rinkiniais, kuriuose yra tūkstantis muzikos vaizdo klipų 11 kategorijų. Taigi jie galėjo surinkti įvairaus sudėtingumo vaizdo įrašų rinkinį - instrukcijas iš „AtinPiano“ svetainės, mėgėjų vaizdo įrašus iš „YouTube“ kanalų, ištraukas iš koncertų ir kitus duomenis.
Tyrėjai įkėlė „Foley Music 450“video. Tada jie davė gautą muziką mokslininkams, kurie įvertino rezultatą. Kai kuriais atvejais jie pažymėjo, kad „muzika yra tarsi kokybiškos grupės viršelis“.
Ekspertai nustatė, kad „Foley Music“ sukurtą muziką sunku atskirti nuo tikrųjų įrašų. Dar daugiau, AI gali pagerinti garso kokybę, semantinį suderinimą ir laiką.
Taip pat žiūrėkite:
— Pažiūrėkite į 3D Visatos žemėlapį: jam sudaryti prireikė 20 metų ir jis jau nustebino mokslininkus
— Rusijoje matoma kometa NEOWISE. Kur jį pamatyti, kur ieškoti ir kaip nufotografuoti
— Į Žemę skrenda trys asteroidai, vienas iš jų yra potencialiai pavojingas. Ar yra grėsmė?