MIT'den bilim insanları, müzik tabanlı müzik üreten yapay zeka (AI) sistemi Foley Music'i tanıttı.
Araştırmacılar bir AI modelinininsan hareketlerine dayalı müzikler yaratır, otomatik olarak ses efektleri eklemeden videolara sanal gerçeklikte sürükleyici deneyimler yaratmaya kadar çeşitli uygulamaların temeli olabilir. Araştırmacılar, insanların da bu yeteneğe sahip olduklarını not ediyor - örneğin, bir kişinin dudaklarından konuşmasını anladıklarında.
Foley Müzik kilit noktalara dikkat çekiyorvücut (25 puan) ve parmaklar (20 puan), vücut ve el hareketlerini modellemek için kullandığı ara görsel bağlantı noktaları olarak. Sistem daha sonra hacmi dikkate alarak bu hareketleri müzik notalarına çevirir. Böylece akordeon, bas gitar, fagot, viyolonsel, gitar, piyano, ukulelele ve diğer enstrümanları çalabilir.
Deneyler sırasında araştırmacılar Foley11 kategoride bin müzik video klibi içeren üç veri setine müzik. Böylece, karmaşıklığı olan bir grup video oluşturdular - AtinPiano web sitesinden talimatlar, YouTube kanallarından amatör videolar, konserlerden alıntılar ve diğer veriler.
Araştırmacılar Foley Music 450 yükledivideo. Sonra ortaya çıkan müziği sonucu değerlendiren bilim adamlarına verdiler. Bazı durumlarda, "müziğin kaliteli bir grubun kapağı gibi" olduğunu belirttiler.
Uzmanlar, Foley Music'in oluşturduğu müziğin gerçek kayıtlardan ayırt edilmesinin zor olduğunu keşfettiler. Dahası, AI ses kalitesini, semantik hizalamayı ve zamanlamayı artırabilir.
Ayrıca bakınız:
" Evrenin 3 boyutlu haritasına bakın: Bunu yapmak 20 yıl sürdü ve şimdiden bilim adamlarını şaşırttı
— NEOWISE Kuyruklu Yıldızı Rusya'da görüldü. Nerede görülmeli, nereye bakılmalı ve nasıl fotoğraf çekilmeli?
— Üç asteroit Dünya'ya doğru uçuyor ve bunlardan biri potansiyel olarak tehlikeli. Bir tehdit var mı?