Ο νέος καλύτερος φίλος: Πώς το VR και το XR μας βοηθούν να επικοινωνούμε με τα ρομπότ

Το τρίτο κύμα συσκευών

Οι τεχνολογίες XR και τα γυαλιά που εμφανίζονται στον κόσμο είναι το τρίτο κύμα προσωπικών

συσκευές.Πρώτα υπήρχαν οι υπολογιστές, μετά ήταν τα κινητά τηλέφωνα, τώρα υπάρχουν τα έξυπνα γυαλιά. Μέσω αυτών μπορούμε να συνδεθούμε στο διαδίκτυο, να επικοινωνήσουμε με ανθρώπους και ακόμη και να αλληλεπιδράσουμε με ρομπότ. Έτσι μοιάζει ο κόσμος όταν αλληλεπιδρούμε μαζί του με γυαλιά.

Ο κόσμος μας σε αυτό είναι πλήρως εμπλουτισμένος με ολογράμματα,μέσω των οποίων οπτικοποιούμε γεγονότα και πληροφορίες. Αυτές οι δυνατότητες μπορούν να χρησιμοποιηθούν για σχεδιαστικούς σκοπούς, όπως όταν θέλετε να προβάλετε ένα τρισδιάστατο μοντέλο στον χωρικό κόσμο. Μέσω αυτού του συστήματος, μπορείτε να επικοινωνήσετε με τους ανθρώπους, να δείτε το ολόγραμμα τους, να τους ακούσετε, να τους μεταδώσετε συναισθήματα και συναισθήματα.

Μέσω εικονικής ή μικτής πραγματικότητας, μπορείτεδημιουργήστε νέα αντικείμενα, σχεδιάστε τα, δημιουργήστε διατάξεις στο χώρο με βάση ένα 2D σχέδιο. Όλα αυτά μπορούν να γίνουν με γυαλιά Microsoft HoloLens ή συσκευές παρόμοιας τεχνολογίας.

Διαφορές μεταξύ AR, MR και VR

Το XR είναι μια συντομογραφία για την εκτεταμένη πραγματικότητα. Χωρίζεται σε τρεις κατηγορίες: εικονική πραγματικότητα, μικτή πραγματικότητα και επαυξημένη πραγματικότητα. 

Στη μικτή πραγματικότητα, ολογραφικά αντικείμενα καιο πραγματικός κόσμος αλληλεπιδρούν μεταξύ τους, υπάρχει ένα μείγμα εικονικών και πραγματικών αντικειμένων. Στην εικονική πραγματικότητα, ο χρήστης βρίσκεται μόνο στον εικονικό κόσμο. Στην επαυξημένη πραγματικότητα, βλέπουμε εικονικά αντικείμενα, ολογράμματα, αλλά δεν αισθανόμαστε το βάθος τους. Στη μικτή πραγματικότητα, ο χρήστης βλέπει και αισθάνεται βάθος, όταν το ολόγραμμα αισθάνεται ότι είναι πραγματικό.

Πιο κοντά στον πραγματικό κόσμο - επαυξημένηπραγματικότητα, όπως η άλλοτε δημοφιλής εφαρμογή Pokemon Go. Αν μιλάμε για εικονική πραγματικότητα, τότε φέτος κυκλοφόρησε το παιχνίδι Half-Life: Alyx, όταν ένα άτομο βυθίζεται σε έναν εικονικό κόσμο και αλληλεπιδρά με χαρακτήρες εκεί. Δεν υπάρχουν ακόμα δημοφιλή παιχνίδια στη μικτή πραγματικότητα - για να βυθιστείτε στη μικτή πραγματικότητα, χρειάζεστε μια ειδική συσκευή, για παράδειγμα, το Microsoft HoloLens.

Microsoft Hololens

Αυτό είναι ολόκληρος φορητός υπολογιστής:Διαθέτει κλασικές μονάδες - μπαταρία, επεξεργαστές και ειδικές μονάδες, όπως οπτικά, αισθητήρες για την κατασκευή του περιβάλλοντος χώρου, ανάλυση χειρονομιών και συμπεριφοράς του χρήστη.

Αυτή η διαδικασία απαιτεί ειδική οπτική, εμείςδεν μπορούμε απλώς να βάλουμε δύο πανομοιότυπες οθόνες σε κάθε μάτι. Άλλωστε, αν δοθεί στον χρήστη η ίδια εικόνα, τότε θα φαίνεται ότι το αντικείμενο βρίσκεται στο άπειρο λόγω στερεοφωνικής όρασης. Το Microsoft HoloLens θα πρέπει να το λάβει υπόψη του και να προσαρμόσει την εικόνα ειδικά στη θέση των γυαλιών, ενώ ακόμη και το HoloLens διαθέτει πλέον ειδικούς αισθητήρες που ανιχνεύουν τη θέση της κόρης και προσαρμόζουν τα ολογράμματα, ανάλογα με το πού κοιτάμε.

Χρειάζονται κάμερες σε γυαλιά για την αξιολόγησητον περιβάλλοντα κόσμο έτσι ώστε το ολόγραμμα να μπορεί να τοποθετηθεί σε βάθος, πίσω από το πραγματικό αντικείμενο. Για αυτό, χρησιμοποιούνται ειδικοί αισθητήρες - πρόκειται για κάμερες βάθους που αναλύουν τον χώρο γύρω μας και αναλύουν το βάθος του.

Ανάλυση Διαστήματος

Υπάρχει επίσης μια αποκλειστική κάμερααναλύει τις χειρονομίες των χρηστών - τα σύγχρονα γυαλιά HoloLens της Microsoft μπορούν να ανιχνεύσουν τα χέρια. Αυτό σημαίνει ότι μπορείτε να αλληλεπιδράσετε με ολογράμματα - να τα πάρετε, να τα μετακινήσετε.

Ανάλυση Διαστήματος

Η κύρια λειτουργία των καμερών είναι η ανάλυση του χώρουπερίπου. Ο χρήστης πρέπει να καταλάβει πού βρίσκονται ο τοίχος, το τραπέζι, τα αντικείμενα στο δωμάτιο. Τα αξιολογούν φτιάχνοντας ένα πλέγμα χώρου. Αυτή είναι η γεωμετρία γύρω από την οποία μπορείτε να βάλετε το ολόγραμμα πίσω από τον τοίχο. Μπορούμε να κρύψουμε ένα εικονικό αντικείμενο πίσω από έναν πραγματικό τοίχο και αυτό επιτυγχάνει την αίσθηση του βάθους και την πραγματική παρουσία ολογραμμάτων.

Τα γυαλιά ανιχνεύουν χειρονομίες, αλλά σε τι χρησιμεύουν;Για να αλληλεπιδράσουν με ολογράμματα - οι χρήστες πρέπει να μπορούν να κάνουν κλικ σε αυτά, να περιστρέφονται, να μετακινούνται, οι χρήστες πρέπει να έχουν ένα εικονικό πληκτρολόγιο που εισάγει κείμενο. Αν και τώρα είναι πολύ άβολο - αποδεικνύεται ότι πατάει μόνο ένα πλήκτρο ανά δευτερόλεπτο.

Επομένως, οι χρήστες πρέπει να μάθουν ξανάαλληλεπιδρούν με τον κόσμο και τη διεπαφή. Κανείς δεν είχε μια συσκευή όπως αυτή στο παρελθόν, επομένως οι προγραμματιστές πρέπει να έχουν κατά νου ότι πρέπει να είναι διαισθητικοί, παρόμοια με τις αλληλεπιδράσεις στον πραγματικό κόσμο. Όλα θα πρέπει να συμβαίνουν ακριβώς όπως συμβαίνει συνήθως — ο χρήστης θα πρέπει να μπορεί να πάρει μια κούπα με τον ίδιο τρόπο όπως στην κανονική ζωή. Και αυτό είναι ακόμη και περιθώριο φαντασίας για τη δημιουργία νέων μηχανισμών συμπεριφοράς.

Όπου μπορείτε να εφαρμόσετε τη μικτή πραγματικότητα στην πραγματική ζωή

Το επίκεντρο των σύγχρονων γυαλιών είναι η βιομηχανία.Γιατί όχι τακτικός χρήστης; Επειδή τέτοιες συσκευές είναι ακριβές - περίπου 3,5 χιλιάδες δολάρια. Μόνο η παραγωγή σε κρίσιμες καταστάσεις μπορεί να δικαιολογήσει το κόστος μιας τέτοιας συσκευής.

Η πρώτη λύση που μπορεί να εφαρμοστεί μέσωΤα γυαλιά είναι ένας εικονικός βοηθός, η ιδέα του είναι ότι στην παραγωγή ορισμένες λειτουργίες έχουν οδηγίες 100-150 βημάτων συναρμολόγησης και τεχνική τεκμηρίωση, την οποία πρέπει να κατανοήσετε βαθιά. Και η ιδέα τέτοιων γυαλιών είναι να ψηφιοποιήσουν αυτήν την οδηγία και να εμφανίσουν όλα αυτά τα βήματα με τη μορφή ολογραμμάτων.

Έχουμε αναπτύξει ένα πρωτότυπο μιας τέτοιας λύσης γιαέκθεση φυσικού αερίου στην Αγία Πετρούπολη, όπου στην εφαρμογή εφαρμόστηκε οδηγία για βυτιοφόρο υγραερίου. Ο εργαζόμενος με τη μορφή ολογραμμάτων, κειμένου και ήχου ακούει και βλέπει τι πρέπει να κάνει. Επιπλέον, είναι επίσης μια καλή πλατφόρμα για μάθηση όχι μόνο κατά τη διάρκεια της τεχνικής διαδικασίας, και μια τέτοια λύση μπορεί να γίνει σε γυαλιά Microsoft HoloLens.

Μια άλλη επιλογή είναι ένας απομακρυσμένος βοηθός ότανσυνδέουμε τον εργαζόμενο που φοράει γυαλιά και τον εξ αποστάσεως ειδικό. Ο ειδικός μέσω της διεπαφής 2D βλέπει αυτό που παρατηρεί ο εργαζόμενος μέσα από την κάμερα και μπορεί να του πει κάτι μέσω ήχου και βίντεο, να του σχεδιάσει υποδείξεις στο διάστημα. Είναι προσαρτημένο σε πραγματικό χώρο και αν ένας ειδικός κυκλώσει, για παράδειγμα, έναν γερανό και είπε ότι πρέπει να γυρίσει, ο υπάλληλος μπορεί να αποσπαστεί, αλλά η υπόδειξη δεν θα εξαφανιστεί πουθενά.

Αυτό περιλαμβάνει επίσης μηχανές παιχνιδιών - Unity Engine και Unreal Engine, που χρησιμοποιούνται για την ανάπτυξη παιχνιδιών ή εφαρμογών επαυξημένης εικονικής πραγματικότητας.

Αλληλεπιδράσεις με το ρομπότ

Ένα ρομπότ είναι μια συσκευή που ελέγχεται απόαρκετούς βαθμούς ελευθερίας. Για παράδειγμα, μπορεί να έχει δύο κινητήρες που μπορούν να μετακινηθούν και να συντονιστούν χρησιμοποιώντας προγράμματα. Υπάρχουν πολλές τέτοιες συσκευές στο εργαστήριο του Πανεπιστημίου Innopolis - ένα drone που δεν σπάει όταν πέφτει, ένα ανθρωποειδές και περπατώντας ρομπότ παρόμοιο με έναν άνθρωπο. Υπάρχουν τεχνικοί χειριστές, μπορούν να χρησιμοποιηθούν στην παραγωγή. Κάθε μία από αυτές τις συσκευές μπορεί να αλληλεπιδράσει.

Τι είναι ένα ρομπότ;

Πως μπορώ να το κάνω αυτό?Το πρώτο παράδειγμα είναι η εικονική πραγματικότητα, ένας προσομοιωτής VR για βιομηχανικούς χειριστές. Σε αυτό, μπορείτε να μάθετε πώς να εργάζεστε με ένα ρομπότ, να κατανοήσετε πώς λειτουργεί η συσκευή, μπορείτε να την προγραμματίσετε για να εκτελέσει κάποια ενέργεια και να τη δοκιμάσετε σε μια προσομοίωση.

Η επόμενη λύση στη διασταύρωση των τεχνολογιών VR καιΗ ρομποτική είναι ένας προσομοιωτής φυσικής διαδικασίας. Για παράδειγμα, ένας διασκεδαστικός προσομοιωτής πτήσης σε ένα διαστημόπλοιο, όπου τα ρομπότ προσομοιώνουν μια πτήση και τα γυαλιά VR παρέχουν μια λύση και μια εικόνα που αντιστοιχεί σε ένα συγκεκριμένο στάδιο της πτήσης. Έτσι η διαδικασία γίνεται καθηλωτική και πιο ρεαλιστική.

Η εικονική πραγματικότητα χρησιμοποιείται γιατηλελειτουργίες - όταν υπάρχει μια επικίνδυνη παραγωγή, ένα μη ασφαλές περιβάλλον στο οποίο είναι δύσκολο για ένα άτομο να βρεθεί. Οι συσκευές μπορούν να λειτουργήσουν εκεί, μειώνουν τον κίνδυνο για τον άνθρωπο. Αλλά πρέπει να ελέγχονται, το ρομπότ μπορεί να εκτελέσει μόνο λειτουργίες ρουτίνας και αν μιλάμε για καταστροφές ή για ένα επισφαλές περιβάλλον, τότε σε αυτή την περίπτωση χρειαζόμαστε ανθρώπινη νοημοσύνη. Επομένως, απαιτούνται διεπαφές τηλεχειρισμού - το VR θα είναι μία από τις επιλογές για αυτό.

Τα ρομπότ μπορούν να βοηθήσουν κατά τη διάρκεια επικίνδυνων επιχειρήσεων

Εφαρμογή επαυξημένης και μικτής πραγματικότηταςπου αντιπροσωπεύονται περισσότερο στον προγραμματισμό ρομπότ. Ο χρήστης μπορεί να δει μέσα από τη συσκευή την κατάσταση του ρομπότ, τι πρόκειται να κάνει. Η επαυξημένη και μικτή πραγματικότητα εστιάζει σε τέτοιες λύσεις. Όταν το ρομπότ είναι εγκατεστημένο και πρέπει να ρυθμιστεί για κάποια εργασία, χρησιμοποιείται ένα ειδικό τηλεχειριστήριο για αυτό, στο οποίο η συσκευή μπορεί να μετακινηθεί σε μια συγκεκριμένη θέση, να απομνημονευτεί και να μετακινηθεί περαιτέρω. 

Αλλά όταν το πρόγραμμα έχει δημιουργηθεί πλήρως, είναι δύσκολοφανταστείτε αν θα συμβεί κάποιο απρόβλεπτο περιστατικό. Για αυτό, δημιουργούνται ειδικές διεπαφές. Αυτό είναι απαραίτητο τόσο για ασφάλεια όσο και για πιο αποτελεσματική αλληλεπίδραση.

Το XR και η μικτή πραγματικότητα βοηθούν σε αυτό.Εκεί μπορείτε να διαμορφώσετε τον εικονικό χώρο, να τον προσαρμόσετε για ένα συγκεκριμένο πείραμα ή να αλλάξετε το ρομπότ. Οι μηχανικοί έχουν απεριόριστες επιλογές για τη διαμόρφωση και αυτό μειώνει τους κινδύνους ασφαλείας.

Συγκεκριμένα, η λύση μας χρησιμοποιεί αρκετέςεικονικά αντικείμενα. Έχει ένα μενού αλληλεπίδρασης με το σύστημα, ένα σημείο στόχο που περιγράφει τη θέση όπου θέλουμε να έρθει το ρομπότ. Στη συνέχεια, θα πρέπει να υπάρχουν εικονικά μοντέλα του ρομπότ και των συσκευών του — λαβή ή εργαλείο.

Αφού ρυθμίσουμε τα σημεία μας, μπορούμε να τρέξουμεπροσομοίωση κίνησης για να ελέγξετε πώς θα εκτελεστεί η τροχιά. Χωρίς αυτό, ένα ρομπότ ή ένας εξοπλισμός μπορεί να καταστραφεί και όταν βλέπουμε μια εικονική προσομοίωση, είναι ασφαλής και οπτική για ένα άτομο.

Και αφού καταλάβουμε σίγουρα ότι το πρόγραμμα είναι σωστό και είμαστε σίγουροι για αυτό, μπορούμε να ξεκινήσουμε τη δουλειά του πραγματικού ρομπότ και να εκτελέσουμε το πρόγραμμα που χρειαζόμαστε.

Πώς να επικοινωνήσετε με ένα ρομπότ

Παρακάτω μπορείτε να δείτε πώς συμβαίνει η αλληλεπίδρασημέσω της εφαρμογής μας. Αυτά τα πλάνα τραβήχτηκαν στο εργαστήριο και στο πειραματικό δωμάτιο. Αλληλεπιδρούμε με δύο τύπους ρομπότ: την κινητή συσκευή Platoon και το βιομηχανικό ρομπότ Kuka IIWA. 

Οι χρήστες φορούν γυαλιά Microsoft Hololens,πρώτα αναλύουν το χώρο και στη συνέχεια, με τη βοήθεια χειρονομιών, ο χρήστης αρχίζει να αλληλεπιδρά με τα ρομπότ, καθορίζει τη θέση τους, θέτει συντεταγμένες και πάπιες για να αρχίσουν να κινούνται οι συσκευές.

Τα ρομπότ πλοηγούνται στο διάστημα χρησιμοποιώντας συντεταγμένες

Για ένα κινητό ρομπότ αρκεί να βάλεις μια τελείαστο πάτωμα, αυτή είναι μια συντεταγμένη 2D και για τον χειριστή, πρέπει να ορίσετε μια συντεταγμένη 3D. Κάθε χειριστής έχει τις δικές του απαιτήσεις και αφού περάσει το πρόγραμμα, οι συσκευές μπορούν να προσομοιωθούν. Και ταυτόχρονα, μπορείτε να δείτε αμέσως ξεκάθαρα τις τροχιές, τι θα κάνει το ρομπότ - αυτό δεν μπορεί να γίνει μέσω ενός tablet ή μιας κανονικής διεπαφής επεξεργασίας κειμένου. Το νόημα ενός τέτοιου συστήματος είναι ότι μέσω μιας διεπαφής μπορείτε να αλληλεπιδράσετε με διαφορετικούς τύπους ρομπότ.

Είναι αυτές οι τεχνολογίες πολλαπλών πλατφορμών που μπορούννα είναι ενδιαφέρον για άτομα που εξακολουθούν να αναζητούν αυτό που τους ενδιαφέρει. Στην περίπτωση της τομής XR και ρομποτικής, μπορούν να σημειωθούν τεχνολογίες όπως η όραση υπολογιστή - τόσο τα γυαλιά όσο και το ρομπότ διαθέτουν ειδικές κάμερες για την ανάλυση του χώρου. Υπάρχουν επίσης αλγόριθμοι SLAM για την κατασκευή χάρτη, ελεγκτές, σύστημα εντοπισμού θέσης συσκευής.

Διαβάστε περισσότερα

Συγκρίνετε πώς γυρίστηκε η σεληνιακή έκλειψη από τη NASA και τη Roscosmos

Η «πέμπτη δύναμη» δημιουργεί αόρατα «τείχη» στο σύμπαν. Το κύριο πράγμα για τη νέα θεωρία των φυσικών

Δημοσιεύθηκε ο χάρτης μόλυνσης από την ευλογιά των πιθήκων