Przerażający i zaawansowany technologicznie: NVIDIA nauczyła modele 3D, jak realistycznie otwierać usta pod czyimś głosem

NVIDIA jest najbardziej znana jako producent kart graficznych, ale ma też kilka interesujących rozwiązań

narzędzia programowe. Przykładem tego jest system Audio2Face, który umożliwia animację modeli 3D na podstawie nagranego głosu

Audio2Face realizuje proces automatycznyinstalacja Narzędzie działa na otwartej, fizycznej platformie symulacyjnej działającej w czasie rzeczywistym NVIDIA Omniverse. Program pobiera plik audio i tworzy na modelu zaskakująco dobrze dopasowaną animację. Działa dobrze z większością języków.

Na potrzeby tego narzędzia firma NVIDIA stworzyła głęboki neuronsieć, która w czasie rzeczywistym odwzorowuje animację twarzy na dźwięk. Firma posiada stronę internetową z instrukcjami dla Audio2Face. Możesz również pobrać otwartą wersję beta programu. W międzyczasie możesz przyjrzeć się przykładom działania tej technologii. Rezultat może być nawet przerażający.

Źródło: PC Gamer