La terza ondata di dispositivi
Le tecnologie e gli occhiali XR che stanno apparendo nel mondo sono la terza ondata di personal
Il nostro mondo in esso è completamente arricchito di ologrammi,attraverso il quale visualizziamo eventi e informazioni. Queste funzionalità possono essere utilizzate per scopi di progettazione, ad esempio quando si desidera visualizzare un modello 3D nel mondo spaziale. Attraverso questo sistema, puoi comunicare con le persone, vedere il loro ologramma, ascoltarle, trasmettere loro sentimenti ed emozioni.
Attraverso la realtà virtuale o mista, puoicreare nuovi oggetti, progettarli, creare layout nello spazio basati su un disegno 2D. Tutto questo può essere fatto con occhiali Microsoft HoloLens o dispositivi con tecnologia simile.
Differenze tra AR, MR e VR
XR è l'abbreviazione di realtà estesa. È diviso in tre categorie: realtà virtuale, realtà mista e realtà aumentata.
In realtà mista, oggetti olografici eil mondo reale interagiscono tra loro, c'è una miscela di oggetti virtuali e reali. Nella realtà virtuale, l'utente è solo nel mondo virtuale. Nella realtà aumentata vediamo oggetti virtuali, ologrammi, ma non ne sentiamo la profondità. Nella realtà mista, l'utente vede e sente la profondità, ovvero quando l'ologramma sembra reale.
Il più vicino al mondo reale - aumentatorealtà, come l'app Pokemon Go un tempo popolare. Se parliamo di realtà virtuale, quest'anno è stato rilasciato il gioco Half-Life: Alyx, quando una persona è immersa in un mondo virtuale e interagisce con i personaggi lì. Non ci sono ancora giochi popolari nella realtà mista: per immergerti nella realtà mista, è necessario un dispositivo speciale, ad esempio Microsoft HoloLens.
Microsoft Hololens
Questo è un intero laptop:ha moduli classici: una batteria, processori e moduli speciali, come l'ottica, i sensori per costruire lo spazio circostante, analizzare i gesti e il comportamento dell'utente.
Questo processo richiede un'ottica speciale, noinon possiamo semplicemente mettere due display identici su ciascun occhio. Dopotutto, se all'utente viene data la stessa immagine, sembrerà che l'oggetto sia nell'infinito a causa della visione stereo. Microsoft HoloLens dovrebbe tenerne conto e regolare l'immagine in modo specifico sulla posizione degli occhiali, e anche HoloLens ora ha sensori speciali che rilevano la posizione della pupilla e regolano gli ologrammi, a seconda di dove guardiamo.
Sono necessarie macchine fotografiche con gli occhiali per valutareil mondo circostante in modo che l'ologramma possa essere posizionato in profondità, dietro l'oggetto reale. Per questo vengono utilizzati sensori speciali: si tratta di telecamere di profondità che analizzano lo spazio intorno a noi e ne analizzano la profondità.
Analisi dello spazio
C'è anche una fotocamera dedicataanalizza i gesti degli utenti: i moderni occhiali Microsoft HoloLens possono rilevare le mani. Ciò significa che puoi interagire con gli ologrammi: prendili, spostali.
Analisi dello spazio
La funzione principale delle telecamere è l'analisi dello spaziointorno a. L'utente deve capire dove si trovano il muro, il tavolo, gli oggetti nella stanza. Li valutano costruendo una griglia di spazio. Questa è la geometria attorno alla quale puoi mettere l'ologramma dietro il muro. Possiamo nascondere un oggetto virtuale dietro un muro reale, e questo ottiene un senso di profondità e la presenza reale di ologrammi.
Gli occhiali rilevano i gesti, ma a cosa servono?Per interagire con gli ologrammi, gli utenti devono essere in grado di fare clic su di essi, ruotarli, spostarli, gli utenti devono disporre di una tastiera virtuale che inserisca il testo. Anche se ora è molto scomodo, risulta premere solo un tasto al secondo.
Pertanto, gli utenti devono imparare di nuovointeragire con il mondo e interfacciarsi. Nessuno ha mai avuto un dispositivo come questo prima, quindi gli sviluppatori devono tenere presente che devono essere intuitivi, simili alle interazioni del mondo reale. Tutto dovrebbe accadere esattamente come accade di solito: l'utente dovrebbe essere in grado di prendere in mano una tazza come nella vita normale. E c’è spazio anche per l’immaginazione per creare nuovi meccanismi comportamentali.
Dove puoi applicare la realtà mista nella vita reale
Il fulcro degli occhiali moderni è l'industria.Perché non un utente normale? Perché tali dispositivi sono costosi - circa 3,5 mila dollari. Solo la produzione in situazioni critiche può giustificare il costo di un tale dispositivo.
La prima soluzione che può essere implementata attraversoocchiali è un assistente virtuale, la sua idea è che in produzione alcune operazioni abbiano istruzioni di 100-150 fasi di montaggio e documentazione tecnica, che è necessario comprendere a fondo. E l'idea di tali occhiali è di digitalizzare questa istruzione e visualizzare tutti questi passaggi sotto forma di ologrammi.
Abbiamo sviluppato un prototipo di tale soluzione peruna mostra del gas a San Pietroburgo, in cui nell'applicazione è stata implementata un'istruzione per una nave cisterna di gas naturale liquefatto. Il dipendente sotto forma di ologrammi, testo e audio ascolta e vede cosa deve fare. Inoltre, è anche una buona piattaforma per l'apprendimento non solo durante il processo tecnico e tale soluzione può essere eseguita con gli occhiali Microsoft HoloLens.
Un'altra opzione è un assistente remoto quandocolleghiamo il lavoratore con gli occhiali e l'esperto a distanza. L'esperto attraverso l'interfaccia 2D vede ciò che il lavoratore osserva attraverso la telecamera e può dirgli qualcosa attraverso audio e video, disegnargli suggerimenti nello spazio. È attaccato nello spazio reale e se un esperto ha cerchiato, ad esempio, una gru e ha detto che deve essere girato, il dipendente potrebbe essere distratto, ma il suggerimento non scomparirà da nessuna parte.
Ciò include anche i motori di gioco - Unity Engine e Unreal Engine, che vengono utilizzati per sviluppare giochi o applicazioni di realtà virtuale aumentata.
Interazioni con il robot
Un robot è un dispositivo controllato dadiversi gradi di libertà. Ad esempio, può avere due motori che possono essere spostati e coordinati tramite programmi. Ci sono molti di questi dispositivi nel laboratorio dell'Università di Innopolis: un drone che non si rompe quando cade, un robot umanoide e ambulante simile a una persona. Ci sono manipolatori tecnici, possono essere utilizzati in produzione. È possibile interagire con ciascuno di questi dispositivi.
Cos'è un robot?
Come lo posso fare?Il primo esempio è la realtà virtuale, un simulatore VR per manipolatori industriali. Su di esso, puoi imparare a lavorare con un robot, capire come funziona il dispositivo, puoi programmarlo per eseguire alcune azioni e testarlo in una simulazione.
La prossima soluzione all'incrocio tra tecnologie VR eLa robotica è un simulatore di processo fisico. Ad esempio, un divertente simulatore di volo in un veicolo spaziale, in cui i robot simulano un volo e gli occhiali VR forniscono una soluzione e un'immagine che corrisponde a una determinata fase del volo. Quindi il processo diventa coinvolgente e più realistico.
La realtà virtuale è usata perteleoperazioni - quando c'è una produzione pericolosa, un ambiente non sicuro in cui è difficile per una persona trovarsi. I dispositivi possono funzionare lì, riducono il pericolo per l'uomo. Ma devono essere controllati, il robot può eseguire solo operazioni di routine e se parliamo di disastri o di un ambiente non sicuro, in questo caso abbiamo bisogno dell'intelligenza umana. Pertanto, sono necessarie interfacce di telecontrollo: la VR sarà una delle opzioni per questo.
I robot possono aiutare durante le operazioni pericolose
Applicazione della realtà aumentata e mistapiù rappresentato nella programmazione dei robot. L'utente può vedere attraverso il dispositivo lo stato del robot, cosa sta per fare. La realtà aumentata e mista si concentra su tali soluzioni. Quando il robot è installato e deve essere configurato per qualche attività, a questo scopo viene utilizzato uno speciale telecomando, in cui il dispositivo può essere spostato in una posizione specifica, memorizzata e spostata ulteriormente.
Ma quando il programma è completamente creato, è difficileimmagina se accadrà qualche imprevisto. Per questo vengono create interfacce speciali. Ciò è necessario sia per la sicurezza che per un'interazione più efficiente.
XR e realtà mista aiutano in questo.Lì puoi configurare lo spazio virtuale, regolarlo per un esperimento specifico o cambiare il robot. Gli ingegneri hanno opzioni illimitate per la configurazione e questo riduce i rischi per la sicurezza.
Nello specifico, la nostra soluzione ne utilizza diversioggetti virtuali. Ha un menu per interagire con il sistema, un punto target che descrive la posizione in cui vogliamo che arrivi il robot. Successivamente dovrebbero esserci modelli virtuali del robot e dei suoi dispositivi: pinza o strumento.
Dopo aver impostato i nostri punti, possiamo correresimulazione del movimento per verificare come verrà eseguita la traiettoria. Senza di esso, un robot o un'attrezzatura possono essere danneggiati e quando vediamo una simulazione virtuale, è sicura e visiva per una persona.
E dopo aver capito per certo che il programma è corretto e ne siamo sicuri, possiamo iniziare il lavoro del robot reale ed eseguire il programma di cui abbiamo bisogno.
Come comunicare con un robot
Di seguito puoi vedere come avviene l'interazioneattraverso la nostra applicazione. Queste riprese sono state effettuate nel laboratorio e nella sala sperimentale. Interagiamo con due tipi di robot: il dispositivo mobile Platoon e il robot industriale Kuka IIWA.
Gli utenti indossano occhiali Microsoft Hololens,prima analizzano lo spazio e poi, con l'aiuto dei gesti, l'utente inizia a interagire con i robot, determina la loro posizione, imposta le coordinate e si abbassa affinché i dispositivi inizino a muoversi.
I robot navigano nello spazio usando le coordinate
Per un robot mobile basta mettere un puntosul pavimento, questa è una coordinata 2D e per il manipolatore è necessario impostare una coordinata 3D. Ogni manipolatore ha i suoi requisiti e, dopo aver superato il programma, i dispositivi possono essere simulati. E allo stesso tempo, puoi vedere immediatamente chiaramente le traiettorie, cosa farà il robot - questo non può essere fatto tramite un tablet o una normale interfaccia di editor di testo. Il significato di un tale sistema è che attraverso un'interfaccia è possibile interagire con diversi tipi di robot.
Sono queste tecnologie multipiattaforma che possonoessere interessante per le persone che sono ancora alla ricerca di ciò che interessa loro. Nel caso dell'intersezione tra XR e robotica, si possono notare tecnologie come la visione artificiale: sia gli occhiali che il robot hanno telecamere speciali per analizzare lo spazio. Ci sono anche algoritmi SLAM per costruire una mappa, controller, un sistema di tracciamento per il posizionamento del dispositivo.
Leggi di più
Confronta come l'eclissi lunare è stata filmata dalla NASA e da Roscosmos
La "quinta forza" crea "muri" invisibili nell'universo. La cosa principale sulla nuova teoria dei fisici
Pubblicata la mappa dell'infezione da vaiolo delle scimmie