Oamenii de știință de la MIT au prezentat sistemul de inteligență artificială (AI) Foley Music, care genereazăMuzică bazată pe
Cercetătorii cred că un model de AI carecreează muzică bazată pe mișcări umane, poate deveni baza pentru mai multe aplicații - de la adăugarea automată de efecte sonore la videoclipuri până la crearea de experiențe captivante în realitatea virtuală. Cercetătorii observă că și oamenii au această abilitate - de exemplu, atunci când înțeleg discursul unei persoane pe buze.
Foley Music atrage atenția asupra punctelor cheiecorpul (25 de puncte) și degetele (20 de puncte) ca puncte de ancorare vizuale intermediare, pe care le folosește pentru a modela mișcările corpului și ale mâinilor. Sistemul traduce apoi aceste mișcări în note muzicale, ținând cont de volum. Deci poate cânta la acordeon, chitară bas, fagot, violoncel, chitară, pian, ukelelele și alte instrumente.
În timpul experimentelor, cercetătorii l-au instruit pe FoleyMuzică trei seturi de date care conțin o mie de videoclipuri muzicale din 11 categorii. Așa că au reușit să adune un corpus de videoclipuri de complexitate diferită - instrucțiuni de pe site-ul web AtinPiano, videoclipuri amatori de pe canalele YouTube, extrase din concerte și alte date.
Cercetătorii au încărcat Foley Music 450video. Apoi au dat muzica rezultată oamenilor de știință, care au evaluat rezultatul. În unele cazuri, au observat că „muzica este ca o copertă a unei formații de calitate”.
Experții au descoperit că muzica generată de Foley Music este dificil de distins de înregistrările reale. Mai mult, AI poate îmbunătăți calitatea audio, alinierea semantică și sincronizarea.
Vezi și:
" Uitați-vă la harta 3D a Universului: a fost nevoie de 20 de ani pentru a o face și a surprins deja oamenii de știință
— Cometa NEOWISE este vizibilă în Rusia. Unde să-l vezi, unde să cauți și cum să faci o fotografie
— Trei asteroizi zboară spre Pământ, iar unul dintre ei este potențial periculos. Există o amenințare?