Muistatko Yandex-hermoverkon, joka käänsi ulkomaisia videoita lennossa?
Keskustella
Joten nyt Yandex.Browser-käyttäjät voivat katsella videoita englanniksi moniäänisellä selostuskäännöksellä venäjäksi.
Jos alun perin tekniikka käytti puheen kääntämiseen kahta syntetisoitua ääntä - yhtä mies- ja yhtä naista -, nyt ääniä on kaksitoista. Kuusi kutakin sukupuolta kohti.
On raportoitu, että hermoverkko "jakaa" ääniä eri kaiuttimille, minkä jälkeen se "muistaa" ne Yandexin sisällä luotujen AI-mallien avulla.
Ja kaikki toimii melko monikerroksisesti:Ensin yksi hermoverkko kääntää puheen tekstiksi, palauttaa välimerkit ja määrittää lauseiden rajat, ja sitten toinen analysoi äänen spektrogrammia ja merkitsee eri ihmisten puhumia fragmentteja.