Pamiętasz sieć neuronową Yandex, która na bieżąco tłumaczyła zagraniczne filmy? Firma „ulepszyła” ją, ucząc ją
Dyskutować
Teraz użytkownicy Yandex.Browser mogą oglądać filmy w języku angielskim z wielogłosowym tłumaczeniem lektora na rosyjski.
Jeśli początkowo technologia wykorzystywała dwa syntetyzowane głosy do tłumaczenia mowy - jeden męski i jeden żeński - teraz jest ich dwanaście. Sześć dla każdej płci.
Podobno sieć neuronowa „dystrybuuje” głosy do różnych mówców, po czym „zapamiętuje” je za pomocą modeli AI stworzonych w Yandex.
I to wszystko działa dość wielowarstwowo:najpierw jedna sieć neuronowa tłumaczy mowę na tekst, przywraca interpunkcję i wyznacza granice zdań, a następnie inna analizuje spektrogram głosu i zaznacza fragmenty wypowiadane przez różne osoby.