Apple은 NeuMan이라는 신경망을 개발했는데, 이 신경망은 짧은 동영상에서 학습하고창조하다
신경망을 훈련시키려면 움직이는 카메라로 촬영한 10초짜리 비디오로 충분합니다.이 프로그램은 비디오에서 사람과 환경의 이미지를 추출합니다.
그 후 NeuMan은 클립을 합성할 수 있습니다.같은 캐릭터가 다른 행동을 할 것입니다. 예를 들어, 춤, 공중제비 또는 점프. 새 비디오는 선명도가 떨어지지만 일반적으로 품질이 좋지 않은 실제 장면처럼 보입니다.
데모 비디오: 춤추는 사람. 비디오: 애플
표시된 대로 프로그램의 주요 목적개발자는 증강 현실을 위한 응용 프로그램입니다. 그들은 또한 두 개의 NeRF(신경방사선 방사) 모델이 신경망을 훈련하는 데 사용됩니다. 첫 번째 모델은 사람을 연구하고 두 번째 모델은 배경을 연구합니다. 이러한 모델의 도움으로 신경망은 사람과 장면의 대략적인 기하학을 학습합니다. 그리고 나서 그것을 새로운 형태로 재창조할 수 있습니다.
데모 비디오: 충전 중. 비디오: 애플
동시에 연구원들이 지적했듯이 촬영 중 사람이 취하는 자세는 완성된 비디오의 품질에 영향을 미치지 않습니다.
더 읽어보기 :
Betelgeuse의 기록적인 코로나 질량 방출은 태양보다 4000억 배 더 큽니다.
메갈로돈은 한 번에 범고래 크기의 동물을 먹었습니다.
에베레스트에서 발견해서는 안되는 DNA의 흔적