Älypuhelin opetettiin arvaamaan käyttäjän toiveet niitä katsomalla. Erityinen algoritmi seuraa, mihin katsot
Tästä voi olla hyötyä äänelleAssistentti pystyi vastaamaan kysymykseen: "Mihin asti tämä kauppa on avoinna?" Nyt tällaisella pyynnöstä älypuhelimesi ei ymmärrä, mistä "tästä" kaupasta puhumme. Kehittäjien uudella tekniikalla laite pystyisi kuitenkin tunnistamaan laitoksen tarkasti käyttämällä molempia kameroitaan: etu- ja pääkameraa.
Ideoiden muuttamiseksi todeksi, insinööritkäytti iPhonea, jossa on iOS 13. Juuri tässä versiossa järjestelmä sallii kahden kameran käytön samanaikaisesti. Kehittäjät käyttivät järjestelmän APIa pään asennon seuraamiseen katseen suunnan määrittämiseksi.
Kohteet tunnistetaan erityisellä kehyksellä. Sitten ohjelma kuuntelee käyttäjän pyyntöä, vertaa demonstratiivisia pronomineja objekteihin ja vasta sen jälkeen muodostaa lopullisen komennon ääniassistentille.