De smartphone leerde de wensen van de gebruiker te raden door ernaar te kijken. Een speciaal algoritme houdt bij waar je kijkt
Dit kan handig zijn voor spraakDe assistent kon de vraag beantwoorden: "Tot hoe laat is deze winkel open?" Nu zal uw smartphone met een dergelijk verzoek niet begrijpen over welke “deze” winkel we het hebben. Met de nieuwe technologie van de ontwikkelaars zou het apparaat het etablissement echter nauwkeurig kunnen identificeren door simpelweg beide camera's te gebruiken: de voorkant en de belangrijkste.
Om ideeën om te zetten in realiteit, ingenieursgebruikte een iPhone met iOS 13. In deze versie kun je met het systeem twee camera's tegelijkertijd gebruiken. De ontwikkelaars gebruikten de systeem-API om de positie van het hoofd te volgen en zo de kijkrichting te bepalen.
Objecten worden herkend door een speciaal raamwerk. Vervolgens luistert het programma naar het verzoek van de gebruiker, vergelijkt de demonstratieve voornaamwoorden met de objecten en vormt pas daarna het laatste commando voor de stemassistent.