กลุ่มวิจัย Facebook ได้สร้าง AI ชื่อ Vid2Play ที่สามารถทำให้ตัวละครในเกมดูเหมือนได้
พวกเขาทำได้อย่างไร
ทีมงานใช้โครงข่ายประสาทเทียมสองเครือข่าย:Pose2Pose และ Pose2Frame ขั้นแรก วิดีโอจะถูกป้อนเข้าสู่ Pose2Pose ซึ่งออกแบบมาเพื่อระบุการกระทำประเภทต่างๆ เช่น การเต้นรำ การเล่นเทนนิส หรือการฟันดาบ จากนั้นระบบจะแยกร่างของบุคคล พร้อมด้วยเงาและวัตถุในมือ ออกจากพื้นหลัง และแทรกไว้บนพื้นหลังสีดำ หลังจากนี้ คุณสามารถควบคุมการเคลื่อนไหวของวัตถุได้โดยใช้จอยสติ๊กหรือคีย์บอร์ด
ในการฝึกระบบนั้นใช้เวลาเพียงเท่านั้นวิดีโอสั้น ๆ หลายรายการ ปัญญาประดิษฐ์สามารถลบบุคคลอื่นและชดเชยมุมกล้องที่แตกต่างกันได้ การศึกษานี้ชวนให้นึกถึงฟังก์ชันใน Adobe After Effects ที่จะลบองค์ประกอบที่ไม่จำเป็นออกจากวิดีโอ เช่น นักท่องเที่ยวหรือถังขยะ
จนถึงตอนนี้อนิเมชั่นยังไม่สมบูรณ์แบบ - รูปร่างดูร่อนและช่วงของการเคลื่อนไหวมี จำกัด อย่างไรก็ตามนี่เป็นความคืบหน้าอย่างมากเมื่อเทียบกับความพยายามก่อนหน้าในการแยกอักขระจากวิดีโอ
นวัตกรรมนี้จะช่วยให้นักพัฒนาเกมสามารถสร้างตัวละครของตนเองตามวิดีโอส่วนตัวหรือเพิ่มบุคลิกที่พวกเขาชื่นชอบจาก YouTube การเคลื่อนไหวจะสมจริงมากกว่าการสร้างแอนิเมชั่นด้วยตนเอง