Gli scienziati del MIT hanno presentato il sistema di intelligenza artificiale (AI) Foley Music, che genera musica basata su
I ricercatori ritengono che un modello di intelligenza artificiale checrea musica basata sui movimenti umani, può diventare la base per diverse applicazioni, dall'aggiunta automatica di effetti sonori ai video alla creazione di esperienze immersive nella realtà virtuale. I ricercatori notano che anche le persone hanno questa abilità, ad esempio quando capiscono il discorso di una persona con le labbra.
Foley Music richiama l'attenzione sui punti chiavecorpo (25 punti) e dita (20 punti) come punti di ancoraggio visivo intermedi, che utilizza per modellare i movimenti del corpo e della mano. Il sistema poi traduce questi movimenti in note musicali, tenendo conto del volume. Quindi può suonare la fisarmonica, il basso, il fagotto, il violoncello, la chitarra, il pianoforte, l'ukulelele e altri strumenti.
Durante gli esperimenti, i ricercatori hanno addestrato FoleyMusica tre set di dati contenenti un migliaio di videoclip musicali in 11 categorie. Così sono stati in grado di assemblare un corpus di video di varia complessità: istruzioni dal sito Web AtinPiano, video amatoriali dai canali YouTube, estratti di concerti e altri dati.
I ricercatori hanno caricato Foley Music 450video. Quindi hanno dato la musica risultante agli scienziati, che hanno valutato il risultato. In alcuni casi, hanno notato che "la musica è come una cover di una band di qualità".
Gli esperti hanno scoperto che la musica generata da Foley Music è difficile da distinguere dalle registrazioni effettive. Inoltre, l'intelligenza artificiale può migliorare la qualità audio, l'allineamento semantico e i tempi.
Vedi anche:
— Guarda la mappa 3D dell'Universo: ci sono voluti 20 anni per compilarla e ha già sorpreso gli scienziati
— La cometa NEOWISE è visibile in Russia. Dove vederlo, dove guardare e come scattare una foto
— Tre asteroidi stanno volando verso la Terra e uno di loro è potenzialmente pericoloso. C'è una minaccia?