Нейросеть навчили імітувати мову співрозмовника при переривання в аудіозвонках

Через нестабільне з'єднання під час дзвінка мова людини на іншому кінці дроту може звучати

уривчасто. Розробники Google вирішили цю проблему. Вони навчили нейромережу імітувати промову співрозмовника при перериваннях в аудіодзвінках.

Справа в тому, що при відеодзвінках через інтернетчерез проходження сигналу через безліч мереж частина аудіопакетів може губитися. Зараз у всіх сервісах використовуються алгоритми маскування втрати пакетів (PLC). Однак при втраті занадто великої кількості пакетів і збільшення паузи до декількох десятків мілісекунд можуть спостерігатися спотворення.

Розробники з Google і DeepMind представилиспеціальний алгоритм, який може створювати заміну втраченим пакетам. Заснований алгоритм на нейромережі. Вона аналізує останні фрагменти мови, а потім заповнює паузу синтезованим голосом співрозмовника.

Технологію вже протестували на смартфонах Pixel 4.