Το smartphone έχει διδαχθεί να μαντεύει τις επιθυμίες του χρήστη από το βλέμμα του.
Αυτό μπορεί να είναι χρήσιμο, ώστε ο βοηθός φωνής να μπορεί να απαντήσει στην ερώτηση: "Τι ώρα λειτουργεί;"Είναι αυτό το κατάστημα;" Τώρα, με ένα τέτοιο αίτημα, το smartphone σας δεν θα καταλάβει ποιο κατάστημα "αυτό" είναιΩστόσο, με τη νέα τεχνολογία των προγραμματιστών, η συσκευή θα είναι σε θέση να αναγνωρίσει την εγκατάσταση με ακρίβεια απλά χρησιμοποιώντας τόσο την μπροστινή όσο και την κύρια κάμερα.
Για να μετατρέψετε τις ιδέες σε πραγματικότητα, μηχανικοίχρησιμοποίησε ένα iPhone με iOS 13. Σε αυτήν την έκδοση το σύστημα σάς επιτρέπει να χρησιμοποιείτε δύο κάμερες ταυτόχρονα. Οι προγραμματιστές χρησιμοποίησαν το API του συστήματος για να παρακολουθήσουν τη θέση του κεφαλιού για να καθορίσουν την κατεύθυνση του βλέμματος.
Τα αντικείμενα αναγνωρίζονται από ένα ειδικό πλαίσιο. Στη συνέχεια, το πρόγραμμα ακούει το αίτημα του χρήστη, συγκρίνει τις ενδεικτικές αντωνυμίες με τα αντικείμενα και μόνο μετά από αυτό σχηματίζει την τελική εντολή για τον βοηθό φωνής.