Nowa technologia wykrywa 99% deepfake: system zauważa nawet substytucję emocji

Naukowcy z Uniwersytetu Kalifornijskiego w Riverside wprowadzili nową technologię wykrywania zmian.

mimika twarzy w nagraniach wideo. Opracowana metoda dzieli problem na dwie części, które rozwiązuje się za pomocą wyszkolonej sieci neuronowej. 

Pierwsza gałąź wyróżnia mimikę twarzy (emocje) iprzekazuje informacje o obszarach tworzących to wyrażenie do drugiej gałęzi - kodera-dekodera. Architektura koder-dekoder odpowiada za wykrywanie i lokalizowanie manipulacji. Jak zauważają autorzy pracy, stworzone przez nich rozwiązanie nie tylko wykrywa zakłócenia, ale także określa obszary obrazu, które zostały skorygowane.

„Głębokie uczenie wykorzystuje cechy,wykrywane przez systemy rozpoznawania mimiki twarzy w celu poprawy wydajności konwencjonalnych systemów wykrywania zmian. Takie podejście zapewnia imponujące wyniki w wykrywaniu manipulacji na twarzy” – mówi Ghazal Mazaheri, kierownik badania.

Zdjęcie: Mazaheri & Roy-Chowdhury, Riverside Uniwersytetu Kalifornijskiego

Badacze zwykli oceniaćskuteczność jego modelu, dwa zestawy filmów, w jednym zmieniły się tylko emocje, w drugim zmieniła się postać aktorska. Eksperymenty wykazały, że opracowany system jest znacznie skuteczniejszy od istniejących analogów w poszukiwaniu zmian w emocjach, a jednocześnie nie ustępuje najskuteczniejszym systemom wykrywania substytucji tożsamości aktora. Podczas testów system wykrył 99% fałszywych filmów.

Naukowcy uważają, że ich rozwój pomoże w opracowaniu zautomatyzowanych narzędzi do wykrywania fałszywych filmów zawierających treści propagandowe lub dezinformacyjne.

Czytaj więcej:

Spójrz na „cichego” drona z napędem jonowym nowej generacji

Naukowcy odkryli, jak znaleźć ciemną materię za pomocą konwencjonalnej fabryki

Astronomowie zbadali 4 gromady gwiazd w Drodze Mlecznej: jedna z nich zachowuje się dziwnie