Forskere fra MIT presenterte kunstig intelligens (AI) systemet Foley Music, som genererer musikk basert på
Forskere mener at en AI-modell somskaper musikk basert på menneskelige bevegelser, kan bli grunnlaget for flere applikasjoner - fra automatisk å legge til lydeffekter til videoer til å skape oppslukende opplevelser i virtuell virkelighet. Forskerne bemerker at folk også har denne ferdigheten - for eksempel når de forstår en persons tale ved leppene.
Foley Music gjør oppmerksom på viktige punkterkropp (25 poeng) og fingre (20 poeng) som mellomliggende visuelle ankerpunkter, som hun bruker for å modellere kropps- og håndbevegelser. Systemet oversetter deretter disse bevegelsene til musikalske notater, og tar hensyn til volumet. Så det kan spille trekkspill, bassgitar, fagott, cello, gitar, piano, ukulelele og andre instrumenter.
Under eksperimentene trente forskerne FoleyMusikk til tre datasett som inneholder tusen musikkvideoklipp i 11 kategorier. Så de var i stand til å samle et korpus av videoer av varierende kompleksitet - instruksjoner fra nettstedet AtinPiano, amatørvideoer fra YouTube-kanaler, utdrag fra konserter og andre data.
Forskere lastet opp Foley Music 450video. Så ga de den resulterende musikken til forskere, som evaluerte resultatet. I noen tilfeller bemerket de at "musikken er som et cover fra et kvalitetsband."
Eksperter har funnet ut at Foley Musics genererte musikk er vanskelig å skille fra faktiske innspillinger. Dessuten kan AI forbedre lydkvaliteten, semantisk justering og timing.
Se også:
— Se på 3D-kartet over universet: det tok 20 år å kompilere det, og det har allerede overrasket forskere
— Comet NEOWISE er synlig i Russland. Hvor du kan se det, hvor du skal se og hvordan du tar et bilde
— Tre asteroider flyr mot jorden, og en av dem er potensielt farlig. Er det en trussel?