Emlékszel a Yandex neurális hálózatra, amely menet közben fordította le a külföldi videókat? A cég „felfejlesztette” azzal, hogy tanította
Beszéljétek meg
Így most a Yandex.Browser felhasználói angol nyelvű videókat nézhetnek többszólamú, orosz nyelvű hangos fordítással.
Ha kezdetben a technológia két szintetizált hangot használt a beszédfordításhoz - egy férfi és egy női -, most már tizenkét hang létezik. Minden nemhez hat.
A jelentések szerint a neurális hálózat „elosztja” a hangokat a különböző hangszórókhoz, majd „emlékezik” rájuk a Yandexen belül létrehozott AI-modellek segítségével.
És mindez meglehetősen többrétegűen működik:először az egyik neurális hálózat fordítja le a beszédet szöveggé, helyreállítja az írásjeleket és meghatározza a mondatok határait, majd egy másik elemzi a hang spektrogramját, és megjelöli a különböző emberek által elmondott töredékeket.