AI heeft geleerd om een ​​nummer van een muziekvideo te herstellen

Wetenschappers van MIT presenteerden het kunstmatige intelligentiesysteem (AI) van Foley Music, dat muziek genereert op basis van

video zonder geluid van muzikanten die instrumenten bespelen. Ze zeggen dat het model werkt met een verscheidenheid aan muziekinstrumenten en superieur is aan verschillende bestaande systemen in termen van snelheid en kwaliteit van het werk.

Onderzoekers geloven dat een AI-model datmuziek maakt op basis van menselijke bewegingen, kan de basis worden voor verschillende toepassingen - van het automatisch toevoegen van geluidseffecten aan video's tot het creëren van meeslepende ervaringen in virtual reality. De onderzoekers merken op dat mensen deze vaardigheid ook hebben, bijvoorbeeld wanneer ze iemands spraak met de lippen verstaan.

Foley Music vestigt de aandacht op belangrijke puntenlichaam (25 punten) en vingers (20 punten) als tussenliggende visuele ankerpunten, die ze gebruikt om lichaams- en handbewegingen te modelleren. Het systeem vertaalt deze bewegingen vervolgens in muzieknoten, rekening houdend met het volume. Het kan dus accordeon, basgitaar, fagot, cello, gitaar, piano, ukelelele en andere instrumenten spelen.

Tijdens de experimenten trainden de onderzoekers FoleyMuziek naar drie datasets met duizend videoclips in 11 categorieën. Zo konden ze een corpus video's van verschillende complexiteit samenstellen - instructies van de AtinPiano-website, amateurvideo's van YouTube-kanalen, fragmenten uit concerten en andere gegevens.

Onderzoekers hebben Foley Music 450 geüploadvideo. Daarna gaven ze de resulterende muziek aan de wetenschappers, die het resultaat evalueerden. In sommige gevallen merkten ze op dat "de muziek als een cover van een kwaliteitsband is".

Experts hebben ontdekt dat de door Foley Music gegenereerde muziek moeilijk te onderscheiden is van daadwerkelijke opnames. Bovendien kan AI de audiokwaliteit, semantische uitlijning en timing verbeteren.

Zie ook:

— Kijk naar de 3D-kaart van het heelal: het duurde twintig jaar om deze samen te stellen en het heeft wetenschappers nu al verrast

— Komeet NEOWISE is zichtbaar in Rusland. Waar je het kunt zien, waar je moet kijken en hoe je een foto kunt maken

— Drie asteroïden vliegen richting de aarde, en één ervan is potentieel gevaarlijk. Is er sprake van bedreiging?