Al treilea val de dispozitive
Tehnologiile XR și ochelarii care apar în lume sunt al treilea val de personal
Lumea noastră în ea este complet îmbogățită cu holograme,prin care vizualizăm evenimente și informații. Aceste caracteristici pot fi utilizate în scopuri de proiectare, cum ar fi atunci când doriți să vizualizați un model 3D în lumea spațială. Prin acest sistem, puteți comunica cu oamenii, le puteți vedea holograma, le puteți auzi, le puteți transmite sentimente și emoții.
Prin realitate virtuală sau mixtă, poțicreați obiecte noi, proiectați-le, creați machete în spațiu pe baza unui desen 2D. Toate acestea se pot face cu ochelari Microsoft HoloLens sau dispozitive cu tehnologie similară.
Diferențele dintre AR, MR și VR
XR este o abreviere pentru realitate extinsă. Este împărțit în trei categorii: realitate virtuală, realitate mixtă și realitate augmentată.
În realitate mixtă, obiecte holografice șilumea reală interacționează între ele, există un amestec de obiecte virtuale și reale. În realitatea virtuală, utilizatorul se află doar în lumea virtuală. În realitatea augmentată, vedem obiecte virtuale, holograme, dar nu le simțim adâncimea. În realitatea mixtă, utilizatorul vede și simte profunzime, adică atunci când holograma se simte ca și cum ar fi reală.
Cel mai apropiat de lumea reală - augmentatărealitate, precum aplicația odinioară populară Pokemon Go. Dacă vorbim despre realitate virtuală, atunci anul acesta a fost lansat jocul Half-Life: Alyx, când o persoană este cufundată într-o lume virtuală și interacționează cu personajele de acolo. Nu există încă jocuri populare în realitatea mixtă - pentru a vă scufunda în realitatea mixtă, aveți nevoie de un dispozitiv special, de exemplu, Microsoft HoloLens.
Microsoft Hololens
Acesta este un întreg laptop:are module clasice - o baterie, procesoare și module speciale, precum optică, senzori pentru construirea spațiului înconjurător, analiza gesturilor și comportamentului utilizatorului.
Acest proces necesită optice speciale, noinu putem pune doar două afișaje identice pe fiecare ochi. La urma urmei, dacă utilizatorului i se oferă aceeași imagine, atunci se va părea că obiectul este la infinit datorită vederii stereo. Microsoft HoloLens ar trebui să țină cont de acest lucru și să ajusteze imaginea în mod specific la poziția ochelarilor, iar chiar și HoloLens au acum senzori speciali care detectează poziția pupilei și reglează hologramele, în funcție de unde ne uităm.
Camerele în ochelari sunt necesare pentru a evalualumea înconjurătoare astfel încât holograma să poată fi plasată în profunzime, în spatele obiectului real. Pentru aceasta se folosesc senzori speciali – acestea sunt camere de adâncime care analizează spațiul din jurul nostru și analizează adâncimea acestuia.
Analiza Spațială
Există și o cameră dedicatăanalizează gesturile utilizatorilor - ochelarii moderni Microsoft HoloLens pot detecta mâinile. Aceasta înseamnă că puteți interacționa cu hologramele - luați-le, mutați-le.
Analiza Spațială
Funcția principală a camerelor este analiza spațiuluiîn jurul. Utilizatorul trebuie să înțeleagă unde sunt peretele, masa, obiectele din cameră. Ei le evaluează construind o grilă de spațiu. Aceasta este geometria din jurul unde puteți pune holograma în spatele peretelui. Putem ascunde un obiect virtual în spatele unui perete real, iar acest lucru obține un sentiment de profunzime și prezența reală a hologramelor.
Ochelarii detectează gesturile, dar pentru ce sunt?Pentru a interacționa cu hologramele - utilizatorii trebuie să poată face clic pe ele, rotiți, mutați, utilizatorii trebuie să aibă o tastatură virtuală care introduce text. Deși acum este foarte incomod - se dovedește că apăsați doar o tastă pe secundă.
Prin urmare, utilizatorii trebuie să învețe din nouinteracționează cu lumea și interfața. Nimeni nu a mai avut un astfel de dispozitiv până acum, așa că dezvoltatorii trebuie să țină cont de faptul că trebuie să fie intuitivi, similar cu interacțiunile din lumea reală. Totul ar trebui să se întâmple exact la fel cum se întâmplă de obicei – utilizatorul ar trebui să poată ridica o cană în același mod ca în viața obișnuită. Și acesta este chiar spațiu pentru imaginație pentru a crea noi mecanici comportamentale.
Unde poți aplica realitatea mixtă în viața reală
Accentul ochelarilor moderni este industria.De ce nu un utilizator obișnuit? Pentru că astfel de dispozitive sunt scumpe - aproximativ 3,5 mii de dolari. Doar producția în situații critice poate justifica costul unui astfel de dispozitiv.
Prima soluție care poate fi implementată pringlasses este un asistent virtual, ideea lui este că în producție unele operațiuni au instrucțiuni de 100-150 de pași de asamblare și documentație tehnică, pe care trebuie să o înțelegi profund. Și ideea unor astfel de ochelari este de a digitiza această instrucțiune și de a afișa toți acești pași sub formă de holograme.
Am dezvoltat un prototip al unei astfel de soluții pentruo expoziție de gaze din Sankt Petersburg, unde a fost implementată în aplicație o instrucțiune pentru o cisternă de gaz natural lichefiat. Angajatul sub formă de holograme, text și audio aude și vede ce trebuie să facă. Mai mult, este și o platformă bună pentru învățare nu doar în timpul procesului tehnic, iar o astfel de soluție se poate face pe ochelarii Microsoft HoloLens.
O altă opțiune este un asistent de la distanță cândconectăm lucrătorul care poartă ochelari și expertul de la distanță. Expertul prin interfața 2D vede ceea ce muncitorul observă prin intermediul camerei și îi poate spune ceva prin audio și video, îi poate atrage indicii în spațiu. Este atașat în spațiu real, iar dacă un expert a înconjurat, de exemplu, o macara și a spus că trebuie răsucită, angajatul poate fi distras, dar indiciu nu va dispărea nicăieri.
Acestea includ și motoarele de joc - Unity Engine și Unreal Engine, care sunt folosite pentru a dezvolta jocuri sau aplicații de realitate virtuală augmentată.
Interacțiuni cu robotul
Un robot este un dispozitiv controlat demai multe grade de libertate. De exemplu, poate avea două motoare care pot fi mutate și coordonate folosind programe. Există multe astfel de dispozitive în laboratorul Universității Innopolis – o dronă care nu se sparge când cade, un robot umanoid și plimbător asemănător unei persoane. Există manipulatoare tehnice, pot fi folosite în producție. Fiecare dintre aceste dispozitive poate fi interacționat.
Ce este un robot?
Cum pot face acest lucru?Primul exemplu este realitatea virtuală, un simulator VR pentru manipulatori industriali. Pe acesta, puteți învăța cum să lucrați cu un robot, să înțelegeți cum funcționează dispozitivul, îl puteți programa să efectueze o acțiune și să îl testați într-o simulare.
Următoarea soluție la intersecția tehnologiilor VR șiRobotica este un simulator de proces fizic. De exemplu, un simulator de zbor distractiv într-o navă spațială, unde roboții simulează un zbor, iar ochelarii VR oferă o soluție și o imagine care corespunde unei anumite etape a zborului. Deci procesul devine captivant și mai realist.
Realitatea virtuală este folosită pentruteleoperații - când există o producție periculoasă, un mediu nesigur în care este dificil pentru o persoană să se afle. Dispozitivele pot funcționa acolo, reduc pericolul pentru oameni. Dar ele trebuie controlate, robotul poate efectua doar operațiuni de rutină, iar dacă vorbim de dezastre sau de un mediu nesigur, atunci în acest caz avem nevoie de inteligență umană. Prin urmare, sunt necesare interfețe de telecontrol - VR va fi una dintre opțiunile pentru aceasta.
Roboții pot ajuta în timpul operațiunilor periculoase
Aplicarea realității augmentate și mixtecel mai reprezentat în programarea robotilor. Utilizatorul poate vedea prin dispozitiv starea robotului, ce urmează să facă. Realitatea augmentată și mixtă se concentrează pe astfel de soluții. Când robotul este instalat și trebuie configurat pentru o anumită sarcină, se folosește o telecomandă specială pentru aceasta, în care dispozitivul poate fi mutat într-o anumită poziție, memorat și mutat mai departe.
Dar când programul este complet creat, este dificilimaginați-vă dacă va avea loc vreun incident neprevăzut. Pentru aceasta, sunt create interfețe speciale. Acest lucru este necesar atât pentru securitate, cât și pentru o interacțiune mai eficientă.
XR și realitatea mixtă ajută în acest sens.Acolo puteți configura spațiul virtual, îl puteți ajusta pentru un anumit experiment sau puteți schimba robotul. Inginerii au opțiuni nelimitate pentru configurare, iar acest lucru reduce riscurile de securitate.
Mai exact, soluția noastră folosește mai multeobiecte virtuale. Are un meniu pentru a interacționa cu sistemul, un punct țintă care descrie poziția în care dorim să vină robotul. În continuare, ar trebui să existe modele virtuale ale robotului și dispozitivelor sale - pinza sau instrument.
După ce ne-am stabilit punctele, putem alergasimularea mișcării pentru a verifica modul în care va fi executată traiectoria. Fără el, un robot sau un echipament poate fi deteriorat, iar atunci când vedem o simulare virtuală, aceasta este sigură și vizuală pentru o persoană.
Și după ce înțelegem cu siguranță că programul este corect și suntem siguri de el, putem începe lucrul robotului real și putem executa programul de care avem nevoie.
Cum să comunici cu un robot
Mai jos puteți vedea cum are loc interacțiuneaprin aplicația noastră. Aceste fotografii au fost făcute în laborator și în camera experimentală. Interacționăm cu două tipuri de roboți: dispozitivul mobil Platoon și robotul industrial Kuka IIWA.
Utilizatorii poartă ochelari Microsoft Hololens,mai întâi analizează spațiul și apoi, cu ajutorul gesturilor, utilizatorul începe să interacționeze cu roboții, le stabilește poziția, stabilește coordonatele și rațele pentru ca dispozitivele să înceapă să se miște.
Roboții navighează în spațiu folosind coordonatele
Pentru un robot mobil este suficient să pui un punctpe podea, aceasta este o coordonată 2D, iar pentru manipulator, trebuie să setați o coordonată 3D. Fiecare manipulator are propriile cerințe, iar după trecerea programului, dispozitivele pot fi simulate. Și, în același timp, puteți vedea imediat în mod clar traiectorii, ce va face robotul - acest lucru nu se poate face printr-o tabletă sau o interfață obișnuită de editor de text. Semnificația unui astfel de sistem este că printr-o singură interfață puteți interacționa cu diferite tipuri de roboți.
Aceste tehnologii multiplatformă potfii interesant pentru oamenii care încă caută ceea ce îi interesează. În cazul intersecției dintre XR și robotică se pot remarca tehnologii precum viziunea computerizată – atât ochelarii, cât și robotul au camere speciale pentru analiza spațiului. Există, de asemenea, algoritmi SLAM pentru construirea unei hărți, controlere, un sistem de urmărire pentru poziționarea dispozitivelor.
Citeste mai mult
Comparați cum a fost filmată eclipsa de Lună de NASA și Roscosmos
„A cincea forță” creează „pereți” invizibili în univers. Principalul lucru despre noua teorie a fizicienilor
Harta infecției cu variola maimuță publicată