ІІ навчився переводити мова в відео з мовою жестів

Модель на основі штучного інтелекту (ІІ) навчилася створювати фотореалістичні відео

сурдоперекладачів. Ці аватари переводять в мову мова в реальному часі і можуть поліпшити доступ користувачів до десяткам джерел.

Бен Сандерс з Університету Суррея(Великобританія), і його колеги використовували нейронну мережу, яка перетворює розмовну мову в мову жестів. Система SignGAN зіставляє ці знаки з тривимірною моделлю людського скелета. Команда навчала ІІ на відео реальних перекладачів жестової мови, навчила його створювати фотореалістичне відео на основі зображень.

Розумні пристрої IKEA об'єднали сценаріями

Раніше в Google придумали модель, яка можезчитувати мову жестів під час відеодзвінків. ІІ може визначати «активно говорить», але ігнорує співрозмовника, якщо він просто рухає руками або головою.

Дослідники представили систему виявленнямови жестів в реальному часі. Вона може відрізняти, коли співрозмовник намагається сказати щось або просто рухає тілом, головою, руками. Вчені відзначають, що ця задача може здатися легкою для людини, проте раніше такої системи не було ні в одному з сервісів відеодзвінків - всі вони реагують на будь-який звук або жест людини.

Читати також

Супутникові знімки підтвердили, що клімат змінюється на Землі нерівномірно

Знайдено передбачуване царство зниклих хеттів. Що виявили археологи?

Квантові наноалмази можуть підвищити точність медичних тестів