Lembra da rede neural Yandex, que traduzia vídeos estrangeiros instantaneamente? A empresa a “atualizou” ensinando-a
Discutir
Portanto, agora os usuários do Yandex.Browser podem assistir a vídeos em inglês com tradução de locução multi-voz para o russo.
Se inicialmente a tecnologia utilizava duas vozes sintetizadas para a tradução da fala - uma masculina e outra feminina - agora são doze vozes. Seis para cada sexo.
É relatado que a rede neural “distribui” vozes para diferentes falantes, após o que as “lembra” usando modelos de IA criados dentro do Yandex.
E tudo funciona em várias camadas:primeiro, uma rede neural traduz a fala em texto, restaura a pontuação e determina os limites das frases, depois outra analisa o espectrograma da voz e marca fragmentos falados por diferentes pessoas.