Пам'ятаєте нейромережу Яндекса, яка перекладала зарубіжні відео на льоту? Компанія «прокачала» її, навчивши ще
Обговорити
Так, тепер користувачі Яндекс.Браузера можуть дивитися ролики англійською з багатоголосим закадровим перекладом російською.
Якщо спочатку технологія використовувала два синтезовані голоси для перекладу мови — один чоловічий і один жіночий, то тепер голосів дванадцять. По шість на кожну з підлог.
Повідомляється, що нейромережа «роздає» голоси різним спікерам, після чого «запам'ятовує» їх за допомогою створених усередині Яндекса ІІ-моделей.
Причому працює це все досить багатошарово:спочатку одна нейромережа переводить мову в текст, відновлює пунктуацію і визначає межі речень, а потім інша аналізує спектрограму голосу та відзначає фрагменти, сказані різними людьми.