Los científicos del MIT presentaron el sistema de inteligencia artificial (IA) Foley Music, que genera música a partir de
Los investigadores creen que un modelo de IA quecrea música basada en movimientos humanos, puede convertirse en la base de varias aplicaciones, desde agregar automáticamente efectos de sonido a videos hasta crear experiencias inmersivas en la realidad virtual. Los investigadores señalan que las personas también tienen esta habilidad, por ejemplo, cuando entienden el habla de una persona con los labios.
Foley Music llama la atención sobre puntos clavecuerpo (25 puntos) y dedos (20 puntos) como puntos intermedios de anclaje visual, que utiliza para modelar los movimientos del cuerpo y la mano. Luego, el sistema traduce estos movimientos en notas musicales, teniendo en cuenta el volumen. Por lo que puede tocar acordeón, bajo, fagot, violonchelo, guitarra, piano, ukelelele y otros instrumentos.
Durante los experimentos, los investigadores entrenaron a FoleyMúsica en tres conjuntos de datos que contienen mil videoclips de música en 11 categorías. Así que pudieron reunir un corpus de videos de diversa complejidad: instrucciones del sitio web de AtinPiano, videos de aficionados de canales de YouTube, extractos de conciertos y otros datos.
Los investigadores subieron Foley Music 450vídeo. Luego entregaron la música resultante a los científicos, quienes evaluaron el resultado. En algunos casos, señalaron que "la música es como una versión de una banda de calidad".
Los expertos han descubierto que la música generada por Foley Music es difícil de distinguir de las grabaciones reales. Además, la IA puede mejorar la calidad del audio, la alineación semántica y la sincronización.
Ver tambien
— Mira el mapa 3D del Universo: se necesitaron 20 años para elaborarlo y ya ha sorprendido a los científicos
— El cometa NEOWISE es visible en Rusia. Dónde verlo, dónde mirar y cómo hacerle una foto
— Tres asteroides vuelan hacia la Tierra y uno de ellos es potencialmente peligroso. ¿Existe una amenaza?