Apple, kısa videolardan öğrenen ve üretebilen NeuMan adında bir sinir ağı geliştirdi.
Bir sinir ağını eğitmek için hareketli bir kamerayla çekilen 10 saniyelik bir video yeterlidir. Program, videodan bir kişinin ve çevrenin görüntüsünü çıkarır.
Bundan sonra NeuMan, üzerinde klipleri sentezleyebilir.aynı karakterin farklı eylemler gerçekleştireceği. Örneğin, dans etmek, takla atmak veya zıplamak. Yeni videonun netliği daha az ama genel olarak düşük kaliteli gerçek görüntülere benziyorlar.
Demo video: dans eden adam. Video: Elma
Programın temel amacı, belirtildiği gibigeliştiriciler, artırılmış gerçeklik uygulamalarıdır. Ayrıca, sinir ağını eğitmek için iki NeRF (nöroradyal radyasyon) modelinin kullanıldığını belirtiyorlar: bunlardan ilki bir kişiyi, ikincisi ise arka planı inceliyor. Bu modeller yardımıyla sinir ağı, bir kişinin ve bir sahnenin kaba geometrisini öğrenir. Ve sonra onu yeni biçimlerde yeniden yaratabilir.
Demo videosu: şarj oluyor. Video: Elma
Aynı zamanda araştırmacıların da belirttiği gibi, bir kişinin çekim sırasında aldığı duruş, bitmiş videonun kalitesini etkilemiyor.
Daha fazla oku:
Betelgeuse'deki rekor koronal kütle atımı güneşten 400 milyar kat daha büyük
Megalodon bir seferde katil balina büyüklüğünde bir hayvan yedi
Everest, orada olmaması gereken DNA izleri buldu