AppleはNeuManと呼ばれるニューラルネットワークを開発し、短いビデオから学習し、生成する
ニューラルネットワークをトレーニングするには、移動カメラで撮影された10秒のビデオで十分です。プログラムは、ビデオから人物と環境の画像を抽出します。
その後、NeuMan はクリップを合成できます。同じキャラクターが異なるアクションを実行します。たとえば、ダンス、宙返り、ジャンプなどです。新しいビデオはシャープさは劣りますが、一般的には品質の低い実際の映像のように見えます。
デモビデオ: 踊る男。ビデオ: アップル
示されているように、プログラムの主な目的開発者は拡張現実のアプリケーションです。彼らはまた、ニューラル ネットワークのトレーニングに 2 つの NeRF (神経放射線) モデルが使用されていることにも注目しています。1 つ目は人物を研究し、2 つ目は背景を研究しています。これらのモデルの助けを借りて、ニューラル ネットワークは人物とシーンの大まかな形状を学習します。そして、それを新たな形で再現することができます。
デモビデオ: 充電中。ビデオ: アップル
同時に、研究者が指摘しているように、撮影中に人がとる姿勢は、完成したビデオの品質には影響しません。
続きを読む：
ベテルギウスで記録されたコロナ質量放出は、太陽の 4000 億倍の大きさです
メガロドンは一度にシャチの大きさの動物を食べました
エベレストはそこにあるはずのないDNAの痕跡を発見しました