Jaunais labākais draugs: kā VR un XR palīdz mums sazināties ar robotiem

Trešais ierīču vilnis

XR tehnoloģijas un brilles, kas parādās pasaulē, ir trešais personības vilnis

ierīces.Vispirms bija datori, tad mobilie telefoni, tagad ir viedbrilles. Izmantojot tos, mēs varam doties tiešsaistē, sazināties ar cilvēkiem un pat mijiedarboties ar robotiem. Tā izskatās pasaule, kad mēs ar to mijiedarbojamies caur brillēm.

Mūsu pasaule tajā ir pilnībā bagātināta ar hologrammām,caur kuru vizualizējam notikumus un informāciju. Šīs funkcijas var izmantot dizaina nolūkos, piemēram, ja vēlaties skatīt 3D modeli telpiskajā pasaulē. Izmantojot šo sistēmu, jūs varat sazināties ar cilvēkiem, redzēt viņu hologrammu, dzirdēt viņus, nodot viņiem jūtas un emocijas.

Izmantojot virtuālo vai jaukto realitāti, jūs varatizveidot jaunus objektus, noformēt tos, veidot izkārtojumus telpā, pamatojoties uz 2D zīmējumu. To visu var izdarīt ar Microsoft HoloLens brillēm vai ierīcēm ar līdzīgu tehnoloģiju.

Atšķirības starp AR, MR un VR

XR ir paplašinātās realitātes saīsinājums. Tā ir sadalīta trīs kategorijās: virtuālā realitāte, jauktā realitāte un paplašinātā realitāte. 

Jauktajā realitātē hologrāfiskie objekti unreālā pasaule mijiedarbojas savā starpā, ir virtuālo un reālu objektu sajaukums. Virtuālajā realitātē lietotājs atrodas tikai virtuālajā pasaulē. Papildinātajā realitātē mēs redzam virtuālus objektus, hologrammas, bet nejūtam to dziļumu. Jauktā realitātē lietotājs redz un sajūt dziļumu, kad hologrammai šķiet, ka tā ir īsta.

Vistuvāk reālajai pasaulei – papildinātsrealitāte, piemēram, kādreiz populārā Pokemon Go lietotne. Ja runājam par virtuālo realitāti, tad šogad iznāca spēle Half-Life: Alyx, kad cilvēks iegrimst virtuālajā pasaulē un tur mijiedarbojas ar varoņiem. Jauktajā realitātē vēl nav populāru spēļu – lai iegrimtu jauktajā realitātē, nepieciešama speciāla ierīce, piemēram, Microsoft HoloLens.

Microsoft Hololens

Šis ir viss klēpjdators:tai ir klasiski moduļi – akumulators, procesori un īpaši moduļi, piemēram, optika, sensori apkārtējās telpas veidošanai, žestu un lietotāja uzvedības analīzei.

Šim procesam ir nepieciešama īpaša optika, mēsmēs nevaram vienkārši uzlikt divus identiskus displejus katrai acij. Galu galā, ja lietotājam tiek piešķirts viens un tas pats attēls, tad šķitīs, ka objekts atrodas bezgalībā stereoredzes dēļ. Microsoft HoloLens tas būtu jāņem vērā un jāpielāgo attēls tieši briļļu novietojumam, un pat HoloLens tagad ir speciāli sensori, kas nosaka zīlītes stāvokli un regulē hologrammas atkarībā no tā, kur mēs skatāmies.

Lai novērtētu, nepieciešamas kameras brillēsapkārtējo pasauli, lai hologrammu varētu novietot dziļumā, aiz reālā objekta. Šim nolūkam tiek izmantoti īpaši sensori - tās ir dziļuma kameras, kas analizē telpu ap mums un analizē tās dziļumu.

Kosmosa analīze

Ir arī īpaša kameraanalizē lietotāja žestus - mūsdienu Microsoft HoloLens brilles var noteikt rokas. Tas nozīmē, ka jūs varat mijiedarboties ar hologrammām – paņemiet tās, pārvietojiet tās.

Kosmosa analīze

Kameras galvenā funkcija ir telpas analīzeapkārt. Lietotājam ir jāsaprot, kur atrodas siena, galds, priekšmeti telpā. Viņi tos novērtē, veidojot telpas režģi. Šī ir ģeometrija, kur jūs varat novietot hologrammu aiz sienas. Mēs varam paslēpt virtuālu objektu aiz īstas sienas, un tas rada dziļuma sajūtu un īstu hologrammu klātbūtni.

Brilles uztver žestus, bet kam tas paredzēts?Lai mijiedarbotos ar hologrammām – lietotājiem ir jābūt iespējai uz tām klikšķināt, pagriezt, pārvietoties, lietotājiem jābūt virtuālai tastatūrai, kas ievada tekstu. Lai gan tagad tas ir ļoti neērti - izrādās, ka nospiež tikai vienu taustiņu sekundē.

Tāpēc lietotājiem ir jāmācās no jaunamijiedarboties ar pasauli un saskarni. Nevienam līdz šim nav bijusi šāda ierīce, tāpēc izstrādātājiem ir jāpatur prātā, ka tām ir jābūt intuitīvām, līdzīgām mijiedarbībām reālajā pasaulē. Visam jānotiek tieši tāpat kā parasti — lietotājam ir jāspēj paņemt krūzi tāpat kā parastajā dzīvē. Un šī ir pat vieta iztēlei, lai radītu jaunu uzvedības mehāniku.

Kur var pielietot jaukto realitāti reālajā dzīvē

Mūsdienu briļļu uzmanības centrā ir nozare.Kāpēc ne parasts lietotājs? Jo šādas ierīces ir dārgas – aptuveni 3,5 tūkstoši dolāru. Tikai ražošana kritiskās situācijās var attaisnot šādas ierīces izmaksas.

Pirmais risinājums, ko var ieviest caurbrilles ir virtuālais asistents, tā ideja ir tāda, ka ražošanā dažām darbībām ir 100-150 montāžas soļu instrukcijas un tehniskā dokumentācija, kas jums ir dziļi jāsaprot. Un šādu briļļu ideja ir digitalizēt šo instrukciju un visas šīs darbības parādīt hologrammu veidā.

Mēs esam izstrādājuši šāda risinājuma prototipugāzes izstāde Sanktpēterburgā, kur pieteikumā tika realizēta instrukcija sašķidrinātās dabasgāzes tankkuģim. Darbinieks hologrammu, teksta un audio veidā dzird un redz, kas viņam jādara. Turklāt tā ir arī laba platforma mācībām ne tikai tehniskā procesa laikā, un šādu risinājumu var veikt uz Microsoft HoloLens brillēm.

Vēl viena iespēja ir tālvadības palīgs, kadmēs savienojam strādnieku ar brillēm un tālvadības speciālistu. Eksperts, izmantojot 2D interfeisu, redz, ko darbinieks novēro caur kameru, un var viņam kaut ko pastāstīt, izmantojot audio un video, zīmēt viņam mājienus telpā. Tas ir piestiprināts reālajā telpā, un, ja eksperts riņķoja, piemēram, celtni un teica, ka tas ir jāpagriež, darbinieks var būt apjucis, bet mājiens nekur nepazudīs.

Tas ietver arī spēļu dzinējus – Unity Engine un Unreal Engine, kas tiek izmantoti spēļu vai paplašinātās virtuālās realitātes aplikāciju izstrādei.

Mijiedarbība ar robotu

Robots ir ierīce, kuru kontrolēvairākas brīvības pakāpes. Piemēram, tam var būt divi motori, kurus var pārvietot un koordinēt, izmantojot programmas. Innopolisas universitātes laboratorijā ir daudz šādu ierīču - drons, kas krītot neplīst, cilvēkam līdzīgs humanoīds un staigājošs robots. Ir tehniskie manipulatori, tos var izmantot ražošanā. Ar katru no šīm ierīcēm var mijiedarboties.

Kas ir robots?

Kā es to varu izdarīt?Pirmais piemērs ir virtuālā realitāte, VR simulators rūpnieciskajiem manipulatoriem. Tajā jūs varat uzzināt, kā strādāt ar robotu, saprast, kā ierīce darbojas, var ieprogrammēt to veikt kādu darbību un pārbaudīt to simulācijā.

Nākamais risinājums VR tehnoloģiju krustpunktā unRobotika ir fizisku procesu simulators. Piemēram, izklaidējošs lidojuma simulators kosmosa kuģī, kur roboti simulē lidojumu, bet VR brilles nodrošina risinājumu un attēlu, kas atbilst noteiktam lidojuma posmam. Tādējādi process kļūst ieskaujošs un reālistiskāks.

Virtuālā realitāte tiek izmantotateleoperācijas - kad notiek bīstama produkcija, nedroša vide, kurā cilvēkam ir grūti atrasties. Ierīces tur var darboties, tās samazina bīstamību cilvēkiem. Bet tie ir jāvada, robots var veikt tikai ikdienas darbības, un, ja mēs runājam par katastrofām vai nedrošu vidi, tad šajā gadījumā mums ir nepieciešams cilvēka intelekts. Tāpēc ir nepieciešamas telekontroles saskarnes - VR būs viena no iespējām.

Roboti var palīdzēt bīstamu darbību laikā

Papildinātās un jauktās realitātes pielietošanavisvairāk pārstāvēts robotu programmēšanā. Lietotājs caur ierīci var redzēt robota stāvokli, ko tas gatavojas darīt. Papildinātā un jauktā realitāte koncentrējas uz šādiem risinājumiem. Kad robots ir uzstādīts un ir jākonfigurē kādam uzdevumam, tam tiek izmantota īpaša tālvadības pults, kurā ierīci var pārvietot uz noteiktu pozīciju, iegaumēt un pārvietot tālāk. 

Bet, kad programma ir pilnībā izveidota, tas ir grūtiiedomājieties, ja notiks kāds neparedzēts incidents. Šim nolūkam tiek izveidotas īpašas saskarnes. Tas ir nepieciešams gan drošībai, gan efektīvākai mijiedarbībai.

XR un jauktā realitāte palīdz ar to.Tur jūs varat konfigurēt virtuālo telpu, pielāgot to konkrētam eksperimentam vai mainīt robotu. Inženieriem ir neierobežotas konfigurācijas iespējas, un tas samazina drošības riskus.

Konkrēti, mūsu risinājums izmanto vairākusvirtuālie objekti. Tam ir izvēlne mijiedarbībai ar sistēmu, mērķa punkts, kas apraksta pozīciju, kurā mēs vēlamies, lai robots nonāktu. Tālāk vajadzētu būt robota un tā ierīču virtuālajiem modeļiem - satvērējam vai instrumentam.

Pēc punktu uzstādīšanas varam skrietkustības simulācija, lai pārbaudītu, kā tiks izpildīta trajektorija. Bez tā var tikt sabojāts robots vai aprīkojums, un, ieraugot virtuālo simulāciju, tā cilvēkam ir droša un vizuāla.

Un pēc tam, kad esam pārliecināti, ka programma ir pareiza un esam par to pārliecināti, mēs varam sākt īstā robota darbu un izpildīt mums nepieciešamo programmu.

Kā sazināties ar robotu

Zemāk varat redzēt, kā notiek mijiedarbībaizmantojot mūsu pieteikumu. Šie kadri tika uzņemti laboratorijā un eksperimentālajā telpā. Mēs mijiedarbojamies ar divu veidu robotiem: mobilo ierīci Platoon un industriālo robotu Kuka IIWA. 

Lietotāji valkā Microsoft Hololens brilles,vispirms viņi analizē telpu un pēc tam ar žestu palīdzību lietotājs sāk mijiedarboties ar robotiem, nosaka to atrašanās vietu, uzstāda koordinātas un pīles, lai ierīces sāktu kustēties.

Roboti pārvietojas kosmosā, izmantojot koordinātas

Mobilajam robotam pietiek uzlikt punktuuz grīdas šī ir 2D koordināta, un manipulatoram ir jāiestata 3D koordināte. Katram manipulatoram ir savas prasības, un pēc programmas nokārtošanas ierīces var simulēt. Un tajā pašā laikā jūs varat uzreiz skaidri redzēt trajektorijas, ko robots darīs - to nevar izdarīt, izmantojot planšetdatoru vai parasto teksta redaktora saskarni. Šādas sistēmas nozīme ir tāda, ka caur vienu saskarni jūs varat mijiedarboties ar dažāda veida robotiem.

Tieši šīs starpplatformu tehnoloģijas varbūt interesantiem cilvēkiem, kuri joprojām meklē to, kas viņus interesē. XR un robotikas krustpunktā var atzīmēt tādas tehnoloģijas kā datorredze - gan brillēm, gan robotam ir īpašas kameras telpas analīzei. Ir arī SLAM algoritmi kartes veidošanai, kontrolleri, izsekošanas sistēma ierīces pozicionēšanai.

Lasīt vairāk

Salīdziniet, kā NASA un Roscosmos filmēja Mēness aptumsumu

“Piektais spēks” rada neredzamas “sienas” Visumā. Galvenais par jauno fiziķu teoriju

Publicēta pērtiķu baku infekcijas karte