Facebook 연구 그룹은 게임 캐릭터를 다음과 같이 보이게 만들 수 있는 Vid2Play라는 AI를 만들었습니다.
어떻게 했어?
팀은 두 가지 신경망을 사용했습니다.Pose2Pose 및 Pose2Frame. 먼저 동영상은 춤, 테니스, 펜싱과 같은 다양한 유형의 동작을 식별하도록 설계된 Pose2Pose에 입력됩니다. 그런 다음 시스템은 사람의 모습, 그림자, 손에 있는 물체를 배경에서 분리하여 검정색 배경에 삽입합니다. 그런 다음 조이스틱이나 키보드를 사용하여 개체의 움직임을 제어할 수 있습니다.
시스템을 훈련하는 데만 걸렸습니다.여러 개의 짧은 동영상. 인공지능은 다른 사람을 제거하고 다양한 카메라 각도를 보정할 수 있었습니다. 이 연구는 동영상에서 관광객이나 쓰레기통 등 불필요한 요소를 제거하는 Adobe After Effects의 기능을 연상시킵니다.
지금까지는 애니메이션이 완벽하지 않습니다. 그림은 미끄러 져 보이고 동작 범위는 약간 제한되어 있습니다. 그러나 이것은 비디오에서 캐릭터를 추출하려는 이전의 시도와 비교할 때 큰 진전입니다.
이 혁신을 통해 게임 개발자는 개인 동영상을 기반으로 자신만의 캐릭터를 만들거나 YouTube에서 좋아하는 인물을 추가할 수 있습니다. 애니메이션을 수동으로 만들 때보다 움직임이 더 사실적입니다.