Skummelt og teknologisk avansert: NVIDIA lærte 3D-modeller å åpne munnen realistisk under noens stemme

NVIDIA er best kjent som en grafikkortprodusent, men det gjør også noe interessant

programvareverktøy. Et eksempel på dette er Audio2Face-systemet, som lar deg animere 3D-modeller basert på innspilt stemme

Audio2Face implementerer en automatisk prosessinstallasjon Verktøyet kjører på den åpne sanntids fysisk baserte simuleringsplattformen NVIDIA Omniverse. Programmet tar en lydfil og lager en overraskende godt matchende animasjon på modellen. Det fungerer bra med de fleste språk.

For verktøyet har NVIDIA laget en dyp nevralet nettverk som kartlegger ansiktsanimasjon til lyd i sanntid. Selskapet har en nettside med instruksjoner for Audio2Face. Du kan også laste ned den åpne betaversjonen av programmet. I mellomtiden kan du se på eksempler på hvordan teknologien fungerer. Resultatet kan til og med være skremmende.

Kilde: PC Gamer