Facebookは、現実の人々を扱いやすいゲームキャラクターに変える人工知能を生み出しました。

Facebookの研究グループは、ゲームのキャラクターを次のように見せることができるVid2Playと呼ばれるAIを開発した

実在の人物のビデオに基づいています。

彼らはどのようにそれをしましたか

チームは 2 つのニューラル ネットワークを使用しました。Pose2Pose と Pose2Frame。まず、動画が Pose2Pose に入力されます。Pose2Pose は、ダンス、テニス、フェンシングなどのさまざまな種類のアクションを識別するように設計されています。次に、システムは人物の姿、影、手に持った物体を背景から分離し、それらを黒い背景に挿入します。その後、ジョイスティックまたはキーボードを使用してオブジェクトの動きを制御できます。

システムをトレーニングするのに必要なのは、いくつかの短いビデオ。人工知能は他の人を排除し、さまざまなカメラ アングルを補正することができました。この研究は、観光客やゴミ箱などの不要な要素をビデオから削除する Adob​​e After Effects の機能を思い出させます。

これまでのところ、アニメーションは完璧ではありません - 図はスライドするもののように見え、動きの範囲は少し限られています。しかし、これはビデオからキャラクターを抽出する以前の試みと比較して大きな進歩です。

このイノベーションにより、ゲーム開発者は個人のビデオに基づいて独自のキャラクターを作成したり、YouTube からお気に入りのキャラクターを追加したりできるようになります。手動でアニメーションを作成するよりも動きがリアルになります。