قدم علماء من معهد ماساتشوستس للتكنولوجيا نظام الذكاء الاصطناعي فولي ميوزيك (AI)، الذي يولد الموسيقى بناءً على ذلك
يعتقد الباحثون أن نموذجًا للذكاء الاصطناعيينشئ الموسيقى بناءً على الحركات البشرية ، ويمكن أن يصبح أساسًا للعديد من التطبيقات - بدءًا من إضافة المؤثرات الصوتية إلى مقاطع الفيديو تلقائيًا إلى إنشاء تجارب غامرة في الواقع الافتراضي لاحظ الباحثون أن الناس لديهم هذه المهارة أيضًا - على سبيل المثال ، عندما يفهمون كلام الشخص من الشفاه.
تلفت فولي ميوزيك الانتباه إلى النقاط الرئيسيةالجسم (25 نقطة) والأصابع (20 نقطة) كنقاط ربط بصرية وسيطة ، والتي تستخدمها لنمذجة حركات الجسم واليد. يقوم النظام بعد ذلك بترجمة هذه الحركات إلى نوتات موسيقية ، مع مراعاة الحجم. حتى تتمكن من العزف على الأكورديون ، الجيتار ، الباسون ، التشيلو ، الجيتار ، البيانو ، القيثارة وغيرها من الأدوات.
خلال التجارب ، قام الباحثون بتدريب فوليموسيقى لثلاث مجموعات بيانات تحتوي على 1000 مقطع فيديو موسيقي في 11 فئة. لذلك تمكنوا من تجميع مجموعة من مقاطع الفيديو ذات التعقيد المتفاوت - تعليمات من موقع AtinPiano على الويب ، ومقاطع فيديو للهواة من قنوات YouTube ، ومقتطفات من الحفلات الموسيقية وبيانات أخرى.
قام الباحثون بتحميل Foley Music 450 على النظامفيديو. ثم أعطوا الموسيقى الناتجة للعلماء الذين قيموا النتيجة. في بعض الحالات ، لاحظوا أن "الموسيقى تشبه غلاف فرقة ذات جودة عالية".
وجد الخبراء أن الموسيقى التي تم إنشاؤها بواسطة Foley Music يصعب تمييزها عن التسجيلات الفعلية. علاوة على ذلك ، يمكن للذكاء الاصطناعي تحسين جودة الصوت والمحاذاة الدلالية والتوقيت.
انظر أيضا:
— انظر إلى الخريطة ثلاثية الأبعاد للكون: استغرق تجميعها 20 عامًا وقد فاجأت العلماء بالفعل
— المذنب NEOWISE مرئي في روسيا. أين تراها وأين تنظر وكيف تلتقط صورة
— ثلاثة كويكبات تتجه نحو الأرض، ومن المحتمل أن يكون أحدها خطيرًا. هل هناك تهديد؟