Smartfon nauczono odgadywać pragnienia użytkownika, patrząc na nie. Specjalny algorytm śledzi, gdzie patrzysz
Może to być przydatne w przypadku głosuAsystent potrafił odpowiedzieć na pytanie: „Do której godziny jest otwarty ten sklep?” Teraz przy takim żądaniu Twój smartfon nie zrozumie, o jakim „tym” sklepie mówimy. Jednak dzięki nowej technologii twórców urządzenie byłoby w stanie dokładnie zidentyfikować zakład, po prostu używając obu kamer: przedniej i głównej.
Inżynierowie, aby przekształcić pomysły w rzeczywistośćkorzystałem z iPhone'a z systemem iOS 13. To właśnie w tej wersji system pozwala na jednoczesne korzystanie z dwóch kamer. Twórcy wykorzystali systemowe API do śledzenia pozycji głowy w celu określenia kierunku spojrzenia.
Obiekty są rozpoznawane przez specjalne ramy. Następnie program nasłuchuje żądania użytkownika, porównuje zaimki demonstracyjne z obiektami i dopiero wtedy tworzy ostateczne polecenie asystenta głosowego.