Griezelig en technologisch geavanceerd: NVIDIA leerde 3D-modellen om hun mond realistisch te openen onder iemands stem

NVIDIA is vooral bekend als fabrikant van grafische kaarten, maar maakt ook enkele interessante

softwaretools. Een voorbeeld hiervan is het Audio2Face-systeem, waarmee je 3D-modellen kunt animeren op basis van opgenomen stem.

Audio2Face implementeert een automatisch procesinstallatie De tool draait op het open real-time fysiek gebaseerde simulatieplatform NVIDIA Omniverse. Het programma neemt een audiobestand en creëert een verrassend goed op elkaar afgestemde animatie op het model. Het werkt goed met de meeste talen.

Voor de tool heeft NVIDIA een diepe neuraleeen netwerk dat gezichtsanimatie in realtime aan audio koppelt. Het bedrijf heeft een website met instructies voor Audio2Face. U kunt ook de open bètaversie van het programma downloaden. Ondertussen kun je voorbeelden bekijken van hoe de technologie werkt. Het resultaat kan zelfs beangstigend zijn.

Bron: pc-gamer