Смартфон навчили вгадувати бажання користувача по погляду

Смартфон навчили вгадувати бажання користувача по погляду. Спеціальний алгоритм відстежує, куди дивиться

людина, і на основі цього управляє командами для голосового помічника.

Це може стати в нагоді для того, щоб голосовоїасистент зміг відповісти на питання: «До якого часу працює цей магазин?». Зараз при такому запиті ваш смартфон не зрозуміє, про яке «це» магазині йде мова. Однак з новою технологією розробників, пристрій змогло б визначити заклад точно, просто використовуючи обидві свої камери: і фронтальну, і основну.

Для втілення задумки в реальність інженеризастосували iPhone з iOS 13. Саме в цій версії система дозволяє одночасно використовувати дві камери. Розробники використовували системний API для відстеження положення голови, щоб визначати напрямок погляду.

Об'єкти розпізнає спеціальний фреймворк. Потім програма слухає запит користувача, зіставляє вказівні займенники з об'єктами і тільки після цього формує остаточну команду для голосового помічника.