Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе
يعتقد الباحثون أن نموذجًا للذكاء الاصطناعيينشئ الموسيقى بناءً على الحركات البشرية ، ويمكن أن يصبح أساسًا للعديد من التطبيقات - بدءًا من إضافة المؤثرات الصوتية إلى مقاطع الفيديو تلقائيًا إلى إنشاء تجارب غامرة في الواقع الافتراضي لاحظ الباحثون أن الناس لديهم هذه المهارة أيضًا - على سبيل المثال ، عندما يفهمون كلام الشخص من الشفاه.
تلفت فولي ميوزيك الانتباه إلى النقاط الرئيسيةالجسم (25 نقطة) والأصابع (20 نقطة) كنقاط ربط بصرية وسيطة ، والتي تستخدمها لنمذجة حركات الجسم واليد. يقوم النظام بعد ذلك بترجمة هذه الحركات إلى نوتات موسيقية ، مع مراعاة الحجم. حتى تتمكن من العزف على الأكورديون ، الجيتار ، الباسون ، التشيلو ، الجيتار ، البيانو ، القيثارة وغيرها من الأدوات.
خلال التجارب ، قام الباحثون بتدريب فوليموسيقى لثلاث مجموعات بيانات تحتوي على 1000 مقطع فيديو موسيقي في 11 فئة. لذلك تمكنوا من تجميع مجموعة من مقاطع الفيديو ذات التعقيد المتفاوت - تعليمات من موقع AtinPiano على الويب ، ومقاطع فيديو للهواة من قنوات YouTube ، ومقتطفات من الحفلات الموسيقية وبيانات أخرى.
قام الباحثون بتحميل Foley Music 450 على النظامفيديو. ثم أعطوا الموسيقى الناتجة للعلماء الذين قيموا النتيجة. في بعض الحالات ، لاحظوا أن "الموسيقى تشبه غلاف فرقة ذات جودة عالية".
وجد الخبراء أن الموسيقى التي تم إنشاؤها بواسطة Foley Music يصعب تمييزها عن التسجيلات الفعلية. علاوة على ذلك ، يمكن للذكاء الاصطناعي تحسين جودة الصوت والمحاذاة الدلالية والتوقيت.
انظر أيضا:
— انظر إلى الخريطة ثلاثية الأبعاد للكون: استغرق تجميعها 20 عامًا وقد فاجأت العلماء بالفعل
— المذنب NEOWISE مرئي في روسيا. أين تراها وأين تنظر وكيف تلتقط صورة
— Три астероида летят к Земле, и один из них потенциально опасен. Есть ли угроза?