Naukowcy z MIT zaprezentowali system sztucznej inteligencji (AI) Foley Music, który na jego podstawie generuje muzykę
Naukowcy uważają, że model AI, którytworzy muzykę opartą na ludzkich ruchach, może stać się podstawą kilku aplikacji – od automatycznego dodawania efektów dźwiękowych do filmów po tworzenie wciągających doznań w wirtualnej rzeczywistości. Naukowcy zauważają, że ludzie również mają tę umiejętność - na przykład, gdy rozumieją mowę osoby ustami.
Foley Music zwraca uwagę na kluczowe punktyciało (25 punktów) i palce (20 punktów) jako pośrednie wizualne punkty zaczepienia, które wykorzystuje do modelowania ruchów ciała i rąk. System następnie przekłada te ruchy na nuty, biorąc pod uwagę głośność. Dzięki temu może grać na akordeonie, gitarze basowej, fagocie, wiolonczeli, gitarze, pianinie, ukulelele i innych instrumentach.
Podczas eksperymentów naukowcy przeszkolili FoleyMuzyka trzy zbiory danych zawierające 1000 teledysków w 11 kategoriach. Udało im się więc zebrać korpus filmów o różnym stopniu złożoności – instrukcje ze strony AtinPiano, amatorskie filmy z kanałów YouTube, fragmenty koncertów i inne dane.
Naukowcy wgrali do systemu Foley Music 450wideo. Następnie przekazali powstałą muzykę naukowcom, którzy ocenili wynik. W niektórych przypadkach zauważyli, że „muzyka jest jak cover zespołu wysokiej jakości”.
Eksperci odkryli, że generowaną muzykę Foley Music trudno odróżnić od rzeczywistych nagrań. Co więcej, sztuczna inteligencja może poprawić jakość dźwięku, wyrównanie semantyczne i synchronizację czasu.
Zobacz także:
— Spójrzcie na trójwymiarową mapę Wszechświata: jej stworzenie zajęło 20 lat, a już zaskoczyła naukowców
— Kometa NEOWISE jest widoczna w Rosji. Gdzie to zobaczyć, gdzie szukać i jak zrobić zdjęcie
— W stronę Ziemi lecą trzy asteroidy, a jedna z nich jest potencjalnie niebezpieczna. Czy istnieje zagrożenie?