I sin studie undersøkte teamet et datasett med 110 populære filmer utgitt mellom 2014 og 2019.
Deretter brukte de et dypt læringsnettverk,som hentet ut auditiv informasjon som klangfarge, harmoni, melodi, rytme og tone fra musikken og partituret til hver film. Hun brukte maskinlæring til å analysere disse musikalske egenskapene og klarte å klassifisere sjangrene til hver film nøyaktig ut fra disse egenskapene alene.
Forskere har også tolket disse modellene tilbestemme hvilke musikalske egenskaper som mest indikerer forskjeller mellom sjangre. Modellene angav ikke hvilke typer notater eller instrumenter som var knyttet til hver sjanger, men de fant ut at tonale og klangkarakteristikker er viktigst for å forutsi en filmsjanger.
Det er intuitivt klart at lydsporene til forskjelligesjangere av filmer bruker visse musikalske elementer. Rom-coms inneholder rike strenger og lyriske melodier, mens skrekkfilmer er fulle av urovekkende, skingre frekvenser og skremmende uoverensstemmende notater.
Forskere bestemte seg imidlertid for å finne kvantitativebevis på at elementer fra en films lydspor kan brukes til å karakterisere en films sjanger. De var de første som brukte dype læringsmodeller på et lydspor for å se om en datamaskin kunne forutsi en filmsjanger basert på musikk alene. Det viste seg at AI faktisk kan klassifisere sjangeren til en film ved hjelp av maskinlæring. Studien bekreftet forskernes antagelse om at lydsporet til filmen sterkt påvirker måten folk oppfatter forskjellige bilder på.
Å lese Lengre
En unik båt blir til en ubåt på to minutter og er usynlig for fienden
Fysikere har avkjølt atomer til den laveste temperaturen i verden
Den mest detaljerte modellen av universet har blitt publisert på nettet. Hvem som helst kan studere det