A Apple desenvolveu uma rede neural chamada NeuMan que aprende com vídeos curtos e pode gerar
Para treinar uma rede neural, um vídeo de 10 segundos gravado com uma câmera em movimento é suficiente. O programa extrai do vídeo a imagem de uma pessoa e do ambiente.
Depois disso, NeuMan pode sintetizar clipes, emqual o mesmo personagem irá realizar ações diferentes. Por exemplo, dançando, dando cambalhotas ou pulando. O novo vídeo tem menos nitidez, mas em geral parecem imagens reais de baixa qualidade.
Vídeo de demonstração: homem dançando. Vídeo: Maçã
O objetivo principal do programa, conforme indicadodesenvolvedores são aplicativos para realidade aumentada. Eles também observam que dois modelos NeRF (radiação neuroradial) são usados para treinar a rede neural: o primeiro deles estuda uma pessoa e o segundo estuda o fundo. Com a ajuda desses modelos, a rede neural aprende a geometria aproximada de uma pessoa e de uma cena. E então pode recriá-lo em novas formas.
Vídeo de demonstração: carregando. Vídeo: Maçã
Ao mesmo tempo, como observam os pesquisadores, a postura que uma pessoa assume durante a filmagem não afeta a qualidade do vídeo finalizado.
Consulte Mais informação:
Ejeção de massa coronal recorde em Betelgeuse é 400 bilhões de vezes maior que o sol
Megalodon comeu um animal do tamanho de uma baleia assassina de cada vez
Everest encontrou vestígios de DNA que não deveriam estar lá