Исследовательская группа Facebook создала ИИ под названием Vid2Play, который может сделать игровых персонажей на
Jak oni to zrobili
Команда использовала две нейронные сети: Pose2Pose и Pose2Frame. Сначала видео подается в Pose2Pose, предназначенную для определения разных типов действий вроде танцев, игры в теннис или фехтования. Затем система отделяет фигуру человека вместе с его тенью и предметами в руках от заднего плана и вставляет их на чёрный фон. После этого можно управлять движением объекта с помощью джойстика или клавиатуры.
Для обучения системы потребовалось всего несколько коротких видеороликов. Искусственный интеллект был в состоянии убрать других людей и компенсировать различные углы камеры. Исследование напоминает функцию в Adobe After Effects для удаления лишних элементов из видео, таких как туристы или мусорные баки.
Jak dotąd animacja nie jest idealna - postać wygląda jak przesuwana, a zakres ruchu jest nieco ograniczony. Jest to jednak duży postęp w porównaniu z poprzednimi próbami wyodrębnienia znaku z filmu.
Данное новшество позволит разработчикам игр создать своих героев на основе личных видео или добавить любимую личность из YouTube. Движения будут более реалистичными, чем при создании анимации вручную.