Herinner je je het neurale netwerk van Yandex nog, dat buitenlandse video's direct vertaalde? Het bedrijf heeft haar ‘geüpgraded’ door haar les te geven
Bespreken
Dus nu kunnen Yandex.Browser-gebruikers video's in het Engels bekijken met meerstemmige voice-oververtaling in het Russisch.
Als de technologie aanvankelijk twee gesynthetiseerde stemmen gebruikte voor spraakvertaling - een mannelijke en een vrouwelijke - zijn er nu twaalf stemmen. Zes voor elk geslacht.
Er wordt gemeld dat het neurale netwerk stemmen "verdeelt" naar verschillende sprekers, waarna het ze "onthoudt" met behulp van AI-modellen die in Yandex zijn gemaakt.
En het werkt allemaal behoorlijk gelaagd:eerst vertaalt een neuraal netwerk spraak in tekst, herstelt interpunctie en bepaalt de grenzen van zinnen, en vervolgens analyseert een ander het spectrogram van de stem en markeert fragmenten die door verschillende mensen worden gesproken.