Vous souvenez-vous du réseau neuronal Yandex qui traduisait les vidéos étrangères à la volée ?
Discuter
Ainsi, les utilisateurs de Yandex.Browser peuvent désormais regarder des vidéos en anglais avec une traduction vocale à plusieurs voix en russe.
Si initialement la technologie utilisait deux voix synthétisées pour la traduction de la parole - une masculine et une féminine - il y a maintenant douze voix. Six pour chaque sexe.
Il est rapporté que le réseau de neurones "distribue" les voix à différents locuteurs, après quoi il les "mémorise" à l'aide de modèles d'IA créés dans Yandex.
Et tout cela fonctionne assez multicouche:d'abord, un réseau de neurones traduit la parole en texte, restaure la ponctuation et détermine les limites des phrases, puis un autre analyse le spectrogramme de la voix et marque les fragments prononcés par différentes personnes.