Учени от MIT представиха системата за изкуствен интелект (AI) Foley Music, която генерираМузика, базирана на
Изследователите смятат, че AI модел, койтосъздава музика, базирана на човешки движения, може да се превърне в основа за няколко приложения - от автоматично добавяне на звукови ефекти към видеоклипове до създаване на потапящи преживявания във виртуална реалност. Изследователите отбелязват, че хората също имат това умение - например, когато разбират речта на човек до устните.
Foley Music обръща внимание на основните моментитяло (25 точки) и пръсти (20 точки) като междинни зрителни точки за закрепване, които тя използва за моделиране на движения на тялото и ръцете. След това системата превежда тези движения в музикални ноти, като взема предвид силата на звука. Така че може да свири на акордеон, бас китара, фагот, виолончело, китара, пиано, укулелеле и други инструменти.
По време на експериментите изследователите обучиха ФолиМузика до три набора от данни, съдържащи хиляда музикални видеоклипове в 11 категории. Така те успяха да съберат корпус от видеоклипове с различна сложност - инструкции от уебсайта AtinPiano, любителски видеоклипове от каналите в YouTube, откъси от концерти и други данни.
Изследователите качиха Foley Music 450видео. Тогава те дадоха получената музика на учените, които оцениха резултата. В някои случаи те отбелязват, че „музиката е като кавър от качествена група“.
Експертите са установили, че генерираната музика на Foley Music е трудно да се разграничи от реалните записи. Нещо повече, AI може да подобри качеството на звука, семантичното подравняване и времето.
Вижте също:
Погледнете 3D картата на Вселената: отне 20 години, за да я направи, и тя вече изненада учените
— Кометата NEOWISE се вижда в Русия. Къде да го видя, къде да погледна и как да го снимам
" Три астероида се насочват към Земята и един от тях е потенциално опасен.Има ли заплаха?