Nová technologie detekuje 99% deepfakes: systém si všimne i nahrazení emocí

Vědci z University of California v Riverside představili novou technologii pro detekci změn.

výrazy obličeje na videozáznamech. Vyvinutá metoda rozděluje problém na dvě složky, které jsou řešeny pomocí trénované neuronové sítě. 

První větev rozlišuje mimiku (emoci) apředává informace o oblastech, které tvoří tento výraz, do druhé větve - kodéru-dekodéru. Architektura kodér-dekodér je zodpovědná za detekci a lokalizaci manipulací. Jak poznamenávají autoři práce, řešení, které vytvořili, nejen detekuje interferenci, ale také určuje oblasti obrazu, které byly opraveny.

„Hluboké učení využívá vlastnosti,detekovaný systémy rozpoznávání výrazu obličeje pro zlepšení výkonu konvenčních systémů detekce změn. Tento přístup poskytuje působivé výsledky při detekci manipulace s obličejem,“ říká Ghazal Mazaheri, vedoucí studie.

Obrázek: Mazaheri & Roy-Chowdhury, The UC Riverside

Výzkumníci použili k hodnoceníúčinnost jeho modelu, dvou sad videí, z nichž v jednom prošly změnami pouze emoce, ve druhém se změnila herecká postava. Experimenty ukázaly, že vyvinutý systém je z hlediska hledání změn emocí mnohem efektivnější než stávající analogy a zároveň není horší než nejúčinnější systémy pro zjišťování záměny identity aktéra. Během testování systém odhalil 99 % falešných videí.

Vědci věří, že jejich vývoj pomůže ve vývoji automatizovaných nástrojů pro odhalování falešných videí obsahujících propagandu nebo dezinformace.

Přečtěte si více:

Podívejte se na „tichý“ dron s novou generací iontového pohonu

Vědci přišli na to, jak najít temnou hmotu pomocí konvenční továrny

Astronomové studovali 4 hvězdokupy v Mléčné dráze: jedna z nich se chová podivně