นักวิทยาศาสตร์จาก MIT นำเสนอระบบปัญญาประดิษฐ์ (AI) ของ Foley Music ซึ่งสร้างเพลงจากพื้นฐาน
นักวิจัยเชื่อว่ารูปแบบ AI นั้นสร้างเสียงเพลงจากการเคลื่อนไหวของมนุษย์สามารถกลายเป็นพื้นฐานสำหรับแอพพลิเคชั่นต่างๆได้ตั้งแต่การเพิ่มเอฟเฟกต์เสียงลงในวิดีโอโดยอัตโนมัติไปจนถึงการสร้างประสบการณ์ที่สมจริงในความเป็นจริงเสมือน นักวิจัยสังเกตว่าคนเรามีทักษะนี้เช่นกันตัวอย่างเช่นเมื่อพวกเขาเข้าใจคำพูดของบุคคลด้วยริมฝีปาก
โฟลีย์มิวสิคดึงความสนใจไปที่ประเด็นสำคัญร่างกาย (25 คะแนน) และนิ้ว (20 คะแนน) เป็นจุดยึดภาพกลางซึ่งเธอใช้ในการจำลองการเคลื่อนไหวของร่างกายและมือ จากนั้นระบบจะแปลการเคลื่อนไหวเหล่านี้เป็นโน้ตดนตรีโดยคำนึงถึงระดับเสียง จึงสามารถเล่นหีบเพลงกีตาร์เบสบาสซูนเชลโลกีต้าร์เปียโนอูคูเลเล่และเครื่องดนตรีอื่น ๆ
ในระหว่างการทดลองนักวิจัยได้ฝึกฝนโฟลีย์เพลงถึงสามชุดข้อมูลที่มีมิวสิควิดีโอมากกว่าพันคลิปใน 11 หมวดหมู่ ดังนั้นพวกเขาจึงสามารถรวบรวมคลังวิดีโอที่มีความซับซ้อนแตกต่างกัน - คำแนะนำจากเว็บไซต์ AtinPiano, วิดีโอสมัครเล่นจากช่อง YouTube, ข้อความที่ตัดตอนมาจากคอนเสิร์ตและข้อมูลอื่น ๆ
นักวิจัยอัปโหลดเพลงโฟลีย์ 450วิดีโอ จากนั้นพวกเขาก็มอบเพลงที่เกิดขึ้นให้กับนักวิทยาศาสตร์ผู้ประเมินผลลัพธ์ ในบางกรณีพวกเขาตั้งข้อสังเกตว่า "เพลงเป็นเหมือนเพลงคัฟเวอร์จากวงดนตรีคุณภาพ"
ผู้เชี่ยวชาญพบว่าเพลงที่สร้างขึ้นของ Foley Music นั้นยากที่จะแยกความแตกต่างจากการบันทึกเสียงจริง ยิ่งไปกว่านั้น AI ยังสามารถปรับปรุงคุณภาพเสียงการจัดแนวความหมายและเวลาได้
ดูเพิ่มเติมที่:
" ดูแผนที่ 3 มิติของจักรวาล: ใช้เวลา 20 ปีในการสร้างมันและมันก็ทําให้นักวิทยาศาสตร์ประหลาดใจ
— ดาวหาง NEOWISE ปรากฏให้เห็นในรัสเซีย จะดูได้ที่ไหน จะดูที่ไหน และถ่ายรูปอย่างไร
— ดาวเคราะห์น้อย 3 ดวงกำลังบินมายังโลก และหนึ่งในนั้นอาจมีอันตราย มีภัยคุกคามหรือไม่?