У своєму дослідженні група вивчила набір даних із 110 популярних фільмів, випущених у період із 2014 по 2019 рік.
Потім вони застосували мережу глибокого навчання,яка отримувала слухову інформацію, таку як тембр, гармонія, мелодія, ритм і тон з музики та партитури кожного фільму. Вона використовувала машинне навчання для аналізу цих музичних характеристик і виявилася здатною точно класифікувати жанри кожного фільму тільки на основі цих характеристик.
Вчені також інтерпретували ці моделі, щобвизначити, які музичні особливості найбільше вказують на відмінності між жанрами. У моделях не вказувалося, які типи нот або інструментів були пов'язані з кожним жанром, але вони встановили, що тональні і тембральні характеристики найбільш важливі для прогнозування жанру фільму.
Інтуїтивно зрозуміло, що в саундтреках різнихжанрів фільмів використовуються певні музичні елементи. У ромкома зустрічаються багаті струнні уривки і ліричні мелодії, а фільми жахів повні тривожних, пронизливих частот і лякаюче диссонирующих нот.
Однак вчені вирішили знайти кількіснідокази того, що елементи саундтрека фільму можна використовувати для того, щоб охарактеризувати жанр фільму. Вони першими застосували моделі глибокого навчання до саундтреку, щоб зрозуміти, чи може комп'ютер передбачити жанр фільму тільки на основі музики. Виявилося, що ІІ дійсно може точно класифікувати жанр фільму за допомогою машинного навчання. Дослідження підтвердило припущення вчених про те, що саундтрек до фільму сильно впливає на те, як люди сприймають різні картини.
Читати далі
Унікальний катер перетворюється в підводний човен за дві хвилини і непомітний для противника
Фізики охолодили атоми до найнижчої в світі температури
Найдетальнішу модель Всесвіту опублікували онлайн. Її може вивчити будь-який бажаючий