Нова технологія виявляє 99% дипфейків: система помічає навіть заміну емоцій

Дослідники з Каліфорнійського університету у Ріверсайді представили нову технологію пошуку змін

вираз обличчя на відеозаписах. Розроблений метод ділить завдання на два компоненти, які вирішуються за допомогою навченої нейронної мережі.  

Перша гілка розрізняє вирази обличчя (емоцію) тапередає інформацію про сфери, що формують цей вислів, у другу гілку — кодер-декодер. Архітектура кодер-декодер відповідає за виявлення та локалізацію маніпуляцій. Як зазначають автори роботи, створене ними рішення не тільки виявляє втручання, але й визначає області зображення, які були виправлені.

«Глибоке навчання використовує характерні риси,виявлені системами розпізнавання виразів особи, поліпшення роботи звичайних систем пошуку змін. Такий підхід забезпечує вражаючі результати при виявленні маніпуляцій із виразом обличчя», - каже Газал Мазахері, керівник дослідження.

Зображення: Mazaheri & Roy-Chowdhury, The UC Riverside

Дослідники використали для оцінкиефективності своєї моделі два набори відео, в одному з яких змін зазнали тільки емоції, в іншому змінився чинний персонаж. Експерименти показали, що розроблена система набагато ефективніша за існуючі аналоги в частині пошуку змін емоцій і при цьому не поступається найбільш ефективним системам виявлення підміни особистості дійової особи. У процесі тестування система виявила 99% підроблених відео.

Вчені вважають, що їх розробка допоможе розробити автоматизовані інструменти для виявлення фальшивих відео, що містять пропаганду або дезінформацію.

Читати далі:

Подивіться на «безшумний» дрон із іонним двигуном нового покоління

Вчені вигадали, як знайти темну матерію, використовуючи звичайний завод

Астрономи вивчили 4 скупчення зірок у Чумацькому Шляху: одне з них веде себе дивно