Новий Deepfake дозволяє редагувати мова говорить на відео. Так само просто, як в текстовому редакторі!

Технологія діпфейк працюєНа основі

алгоритми з відкритим вихідним кодом, такі як TensorFlow, і навчається на відео YouTube.Потім система намагається максимально реалістично підставити обличчя обраної людини на оригінальне відео.

Алгоритм, розроблений вченими, отримав назву Neural Rendering. Йому потрібно близько 40 хвилин, щоб вивчити міміку говорить на відео і зіставити форму його особи з кожним фонетичним складом.

Після цього нейромережа робить 3D-модель обличчя спікера і дозволяє редагувати те, що він говорить, змінюючи при цьому міміку спікера.

Дослідники відзначають, що в ідеальному світірозробка дозволить скоротити витрати на перезнімання невдалий дублів. Однак від ідеї опублікувати код нейромережі вчені відмовилися - інженери вважають, що вона може використовуватися для підстановки в ролики слів і виразів, яких спікер насправді не вимовляв.

Раніше інженери з Каліфорнійського університету іУніверситету Британської Колумбії розробили нейросеть, яка дозволяє віртуальним персонажам навчатися по відео, на яких рухаються люди, - наприклад, по роликам з YouTube.