Išmanusis telefonas buvo išmokytas atspėti vartotojo norus pagal jų žvilgsnį.
Tai gali būti naudinga, kad balso asistentas galėtų atsakyti į klausimą: "Kiek laiko jis veikia?"Ar tai parduotuvė?" Dabar, pateikus tokį prašymą, jūsų išmanusis telefonas nesupras, kuri "ši" parduotuvė yraTačiau naudojant naują kūrėjų technologiją, įrenginys galėtų tiksliai identifikuoti įmonę tiesiog naudodamas tiek priekinę, tiek pagrindinę kameras.
Kad idėjos virstų realybe, inžinieriainaudojo iPhone su iOS 13. Būtent šioje versijoje sistema leidžia vienu metu naudoti dvi kameras. Kūrėjai naudojo sistemos API, kad stebėtų galvos padėtį, kad nustatytų žvilgsnio kryptį.
Objektai yra atpažįstami specialia sistema. Tada programa išklauso vartotojo prašymą, palygina demonstracinius įvardžius su objektais ir tik po to suformuoja galutinę balso asistento komandą.