¿Recuerda la red neuronal Yandex, que traducía vídeos extranjeros sobre la marcha? La empresa la “mejoró” enseñándole
Conversar
Entonces, ahora los usuarios de Yandex.Browser pueden ver videos en inglés con traducción de voz en off de múltiples voces al ruso.
Si inicialmente la tecnología utilizaba dos voces sintetizadas para la traducción del habla, una masculina y otra femenina, ahora hay doce voces. Seis para cada género.
Se informa que la red neuronal "distribuye" voces a diferentes hablantes, después de lo cual las "recuerda" utilizando modelos de IA creados dentro de Yandex.
Y todo funciona bastante en varias capas:primero, una red neuronal traduce el habla en texto, restablece la puntuación y determina los límites de las oraciones, y luego otra analiza el espectrograma de la voz y marca fragmentos hablados por diferentes personas.