Le réseau neuronal crée l'illusion que les acteurs du film parlent à partir du doublage, et non à partir de l'audio original.
Comme le disent les auteurs, leur développement préserve toutnuances et émotions du matériel source. TrueSync remplace le visage de l'acteur par un deepfake, en tenant compte des expressions faciales originales, afin de ne pas perdre les subtilités de la performance de l'acteur. Les créateurs affirment qu'avec cette approche, les émotions originales sont préservées.
Le site Web de la société Flawless a publié des extraits de films traités à l'aide de technologies deepfake, par exemple, le héros de Tom Hanks de Forrest Gump "parlait" en japonais.
Le progiciel TrueSync utilise des réseaux de neurones pour synthétiser les mouvements des lèvres et des muscles faciaux des acteurs.
Les Deepfakes ont déjà été utilisés pour "ressusciter"musiciens décédés. Maintenant, l'utilisation de la technologie est devenue pratique dans la cinématographie. Les auteurs du développement notent que jusqu'à présent, la technologie est imparfaite. Pourtant, dans certains moments, les lacunes du deepfake sont clairement visibles. De plus, l'émergence de la technologie soulève plusieurs questions. Par exemple, à quel point un film avec un tel «doublage visuel» est-il proche de l'idée originale du réalisateur, ou le deepfake dévalorise-t-il le jeu des acteurs du film original?
Il y a de très bonnes raisons de s'inquiétersur l'utilisation de l'intelligence artificielle et des outils basés sur des réseaux de neurones pour manipuler des cadres et des vidéos. Il est facile de fabriquer des situations qui ne se sont jamais vraiment produites, ainsi que des déclarations et des actions de personnalités publiques. Mais ces outils recèlent également un potentiel passionnant à d'autres fins, comme rendre le cinéma plus accessible.
Auparavant, TikTok est apparu sur le réseau socialvidéos deepfake réalistes de Tom Cruise. Ensuite, ils ont dérouté les fans de l'acteur - il était presque impossible de le distinguer de la "doublure". Aux États-Unis également, avec l'aide de technologies similaires, ils ont « ressuscité » un adolescent décédé après une fusillade dans une école.
Lire la suite
Des scientifiques ont montré comment un trou noir déchire une étoile
Elon Musk: les premiers touristes sur Mars mourront
Les scientifiques ont mené la plus grande étude génétique sur la super-longévité