Næsten eftersynkronisering: Yandex har lært den flerstemmige oversættelse af YouTube-videoer

Kan du huske Yandex neurale netværk, som oversatte udenlandske videoer i farten? Virksomheden "opgraderede" hende ved at undervise hende

store tricks.
Diskutere

Så nu kan Yandex.Browser-brugere se videoer på engelsk med flerstemmig voice-over-oversættelse til russisk.

Hvis teknologien oprindeligt brugte to syntetiserede stemmer til taleoversættelse - en mandlig og en kvindelig - nu er der tolv stemmer. Seks for hvert køn.

Det rapporteres, at det neurale netværk "distribuerer" stemmer til forskellige højttalere, hvorefter det "husker" dem ved hjælp af AI-modeller oprettet i Yandex.

Og det hele fungerer ret i flere lag:først oversætter et neuralt netværk tale til tekst, gendanner tegnsætning og bestemmer sætningsgrænser, og derefter analyserer et andet spektrogrammet af stemmen og markerer fragmenter, der tales af forskellige mennesker.