Znanstvenici s MIT-a predstavili su sustav umjetne inteligencije (AI) Foley Music koji generira glazbu na temelju
Istraživači vjeruju da je AI model kojistvara glazbu koja se temelji na ljudskim pokretima, može postati osnova za nekoliko aplikacija - od automatskog dodavanja zvučnih efekata videozapisima do stvaranja potopnih iskustava u virtualnoj stvarnosti. Istraživači primjećuju da ljudi također posjeduju ovu vještinu - na primjer, kada razumiju govor osobe po usnama.
Foley Music skreće pozornost na ključne točketijelo (25 bodova) i prsti (20 bodova) kao međupredmetne točke vidnog sidrišta koje koristi za modeliranje pokreta tijela i ruku. Sustav zatim te pokrete prevodi u glazbene note, uzimajući u obzir glasnoću. Tako može svirati harmoniku, bas gitaru, fagot, violončelo, gitaru, klavir, ukulelele i druge instrumente.
Tijekom eksperimenata, istraživači su obučavali FoleyaGlazba do tri skupa podataka s tisuću glazbenih videoisječaka u 11 kategorija. Tako su uspjeli sastaviti korpus videozapisa različitih složenosti - upute s web stranice AtinPiano, amaterski videozapisi s YouTube kanala, izvodi s koncerata i drugi podaci.
Istraživači su postavili Foley Music 450video. Potom su nastalu glazbu dali znanstvenicima, koji su procijenili rezultat. U nekim su slučajevima primijetili kako je "glazba poput omota iz kvalitetnog benda".
Stručnjaci su otkrili da je glazbu koja se generira Foley Music teško razlikovati od stvarnih snimaka. Štoviše, AI može poboljšati kvalitetu zvuka, semantičko poravnavanje i vrijeme.
Pogledajte i:
— Pogledajte 3D kartu svemira: trebalo je 20 godina da se sastavi, a već je iznenadila znanstvenike
— Komet NEOWISE vidljiv je u Rusiji. Gdje to vidjeti, gdje pogledati i kako fotografirati
— Prema Zemlji lete tri asteroida, a jedan od njih je potencijalno opasan. Postoji li prijetnja?