Cientistas do MIT apresentaram o sistema de inteligência artificial (IA) Foley Music, que gera música baseada em
Os pesquisadores acreditam que um modelo de IA quecria música com base em movimentos humanos, pode se tornar a base para várias aplicações - desde adicionar automaticamente efeitos sonoros aos vídeos até criar experiências imersivas na realidade virtual. Os pesquisadores observam que as pessoas também têm essa habilidade - por exemplo, quando entendem a fala de uma pessoa pelos lábios.
Foley Music chama a atenção para pontos-chavecorpo (25 pontos) e dedos (20 pontos) como pontos de ancoragem visual intermediários, que ela usa para modelar os movimentos do corpo e do braço. O sistema traduz esses movimentos em notas musicais, levando em consideração o volume. Por isso, pode tocar acordeão, baixo, fagote, violoncelo, guitarra, piano, ukulelele e outros instrumentos.
Durante os experimentos, os pesquisadores treinaram FoleyMúsica três conjuntos de dados contendo mil videoclipes em 11 categorias. Assim, eles foram capazes de montar um corpus de vídeos de complexidade variada - instruções do site AtinPiano, vídeos amadores dos canais do YouTube, trechos de shows e outros dados.
Pesquisadores carregaram Foley Music 450vídeo. Então eles deram a música resultante aos cientistas, que avaliaram o resultado. Em alguns casos, eles observaram que "a música é como uma capa de uma banda de qualidade".
Especialistas descobriram que a música gerada pela Foley Music é difícil de distinguir das gravações reais. Além disso, a IA pode melhorar a qualidade do áudio, o alinhamento semântico e o tempo.
Veja também:
—Veja o mapa 3D do Universo: demorou 20 anos para compilá-lo e já surpreendeu os cientistas
—O cometa NEOWISE é visível na Rússia. Onde ver, onde procurar e como tirar uma foto
—Três asteróides estão voando em direção à Terra e um deles é potencialmente perigoso. Existe uma ameaça?