Смартфонът е научен да отгатва желанията на потребителя, като ги гледа. Специален алгоритъм проследява къде гледате
Това може да е полезно за гласАсистентът успя да отговори на въпроса: „До колко часа е отворен този магазин?“ Сега, с такава заявка, вашият смартфон няма да разбере за кой „този“ магазин говорим. С новата технология на разработчиците обаче устройството ще може точно да идентифицира заведението само с помощта на двете си камери: предната и основната.
За да превърнете идеите в реалност, инженериизползва iPhone с iOS 13. Именно в тази версия системата ви позволява да използвате две камери едновременно. Разработчиците са използвали системния API за проследяване на позицията на главата, за да определят посоката на погледа.
Обектите се разпознават по специална рамка. Тогава програмата слуша заявката на потребителя, сравнява демонстративните местоимения с обектите и едва след това формира окончателната команда за гласовия асистент.