Facebook створила штучний інтелект, що перетворює реальних людей в керованих ігрових персонажів

Дослідницька група Facebook створила ІІ під назвою Vid2Play, який може зробити ігрових персонажів на

основі відео з реальними людьми.

Як їм це вдалося

Команда використовувала дві нейронні мережі:Pose2Pose та Pose2Frame. Спочатку відео подається в Pose2Pose, призначену для визначення різних типів дій на кшталт танців, гри в теніс або фехтування. Потім система відокремлює фігуру людини разом з її тінню і предметами в руках від заднього плану і вставляє їх на чорне тло. Після цього можна керувати рухом об'єкта за допомогою джойстика чи клавіатури.

Для навчання системи знадобилося всьогокілька коротких відео. Штучний інтелект був у змозі прибрати інших людей і компенсувати різні кути камери. Дослідження нагадує функцію в Adobe After Effects для видалення зайвих елементів з відео, таких як туристи або сміттєві баки.

Поки що анімація недосконала - фігура виглядає ковзної і діапазон руху трохи обмежений. Однак, це великий прогрес в порівнянні з попередніми спробами вилучення персонажа з ролика.

Дане нововведення дозволить розробникам ігор створити своїх героїв на основі особистих відео або додати улюблену особистість з YouTube. Рухи будуть більш реалістичними, ніж під час створення анімації вручну.