Az eszközök harmadik hulláma
A világban megjelenő XR technológiák és szemüvegek a személyesség harmadik hullámát jelentik
Világunk benne teljesen tele van hologramokkal,amelyen keresztül az eseményeket és az információkat vizualizáljuk. Ezek a képességek tervezési célokra használhatók, például amikor egy 3D-s modellt kell megtekinteni a térbeli világban. Ezen a rendszeren keresztül kommunikálhat az emberekkel, láthatja hologramjukat, hallhatja őket, érzéseket és érzelmeket közvetíthet feléjük.
A virtuális vagy vegyes valóságon keresztül megtehetiúj objektumok létrehozása, tervezése, térbeli elrendezések készítése 2D rajz alapján. Mindez megtehető Microsoft HoloLens szemüveggel vagy hasonló technológiájú eszközökkel.
Az AR, MR és VR közötti különbségek
Az XR a kiterjesztett valóság rövidítése. Három kategóriába sorolható: virtuális valóság, vegyes valóság és kiterjesztett valóság.
A vegyes valóságban holografikus tárgyak illa valós világ kölcsönhatásba lép egymással, virtuális és valós objektumok keverednek. A virtuális valóságban a felhasználó csak a virtuális világban van. A kiterjesztett valóságban látunk virtuális tárgyakat, hologramokat, de nem érezzük a mélységüket. A vegyes valóságban a felhasználó látja és érzi a mélységet, vagyis amikor a hologram valódinak érzi magát.
Legközelebb a való világhoz – kibővítvevalóság, mint az egykor népszerű Pokemon Go alkalmazás. Ha már a virtuális valóságról beszélünk, akkor idén jelent meg a Half-Life: Alyx játék, amikor az ember elmerül egy virtuális világban, és ott interakcióba lép a karakterekkel. A vegyes valóságban még nincsenek népszerű játékok – ahhoz, hogy elmerüljön a vegyes valóságban, szükség van egy speciális eszközre, például a Microsoft HoloLensre.
Microsoft Hololens
Ez egy egész laptop:klasszikus moduljai vannak - akkumulátor, processzorok és speciális modulok, például optika, érzékelők a környező tér felépítéséhez, a gesztusok és a felhasználói viselkedés elemzéséhez.
Ez a folyamat speciális optikát igényel, minem tehetünk két egyforma kijelzőt mindkét szemre. Végül is, ha a felhasználónak ugyanazt a képet adják, akkor úgy tűnik, hogy a tárgy a sztereó látás miatt a végtelenben van. A Microsoft HoloLens-nek ezt figyelembe kell vennie, és kifejezetten a szemüveg helyzetéhez kell igazítania a képet, sőt a HoloLens-ben már vannak speciális szenzorok, amelyek érzékelik a pupilla helyzetét, és attól függően, hogy hová nézzük, beállítják a hologramokat.
Az értékeléshez szemüveges kamerákra van szükséga környező világot, hogy a hologram mélységben, a valódi tárgy mögé kerüljön. Ehhez speciális érzékelőket használnak - ezek mélységi kamerák, amelyek elemzik a körülöttünk lévő teret és elemzik annak mélységét.
Térelemzés
Van egy dedikált kamera iselemzi a felhasználói gesztusokat – a modern Microsoft HoloLens szemüveg képes érzékelni a kezet. Ez azt jelenti, hogy interakcióba léphet a hologramokkal – elviheti, mozgathatja őket.
Térelemzés
A kamerák fő funkciója a tér elemzésekörül. A felhasználónak meg kell értenie, hol van a fal, az asztal, a tárgyak a helyiségben. A térháló felépítésével értékelik őket. Ez az a geometria, ahol a hologramot a fal mögé helyezheti. Valódi fal mögé elrejthetünk egy virtuális tárgyat, és ezzel elérhetjük a mélységérzetet és a hologramok valódi jelenlétét.
A szemüveg érzékeli a gesztusokat, de mire való?A hologramokkal való interakcióhoz a felhasználóknak képesnek kell lenniük rájuk kattintani, forgatni, mozgatni, a felhasználóknak rendelkezniük kell egy virtuális billentyűzettel, amely szöveget ír be. Bár most nagyon kényelmetlen - kiderül, hogy másodpercenként csak egy gombot kell megnyomni.
Ezért a felhasználóknak újra kell tanulniukinterakcióba lép a világgal és a felülettel. Senkinek nem volt még ilyen eszköze, ezért a fejlesztőknek szem előtt kell tartaniuk, hogy intuitívnak kell lenniük, hasonlóan a valós interakciókhoz. Mindennek pontosan ugyanúgy kell történnie, mint általában – a felhasználónak ugyanúgy fel kell tudnia venni a bögrét, mint a hétköznapi életben. És ez még a képzeletnek is teret ad új viselkedési mechanikák létrehozásához.
Ahol alkalmazhatod a vegyes valóságot a való életben
A modern szemüvegek középpontjában az ipar áll.Miért nem egy rendes felhasználó? Mivel az ilyen eszközök drágák - körülbelül 3,5 ezer dollár. Csak a kritikus helyzetekben történő gyártás indokolhatja egy ilyen eszköz költségét.
Az első olyan megoldás, amelyen keresztül meg lehet valósítaniA szemüveg egy virtuális asszisztens, az elképzelése az, hogy a gyártás során egyes műveletekhez 100-150 összeszerelési lépésből álló utasítások és műszaki dokumentációk tartoznak, amelyeket mélyen meg kell érteni. És az ilyen szemüvegek ötlete az, hogy digitalizálják ezt az utasítást, és hologramok formájában jelenítsék meg ezeket a lépéseket.
Egy ilyen megoldás prototípusát fejlesztettük kigázkiállítás Szentpéterváron, ahol egy cseppfolyósított földgázszállító tartályhajóra vonatkozó utasítást valósítottak meg a pályázatban. Az alkalmazott hologram, szöveg és hang formájában hallja és látja, hogy mit kell tennie. Sőt, nem csak a technikai folyamat során való tanuláshoz is jó platform, és egy ilyen megoldás Microsoft HoloLens szemüvegen is megvalósítható.
Egy másik lehetőség egy távoli asszisztens, amikorösszekötjük a szemüveges dolgozót és a távszakértőt. A szakértő a 2D interfészen keresztül látja, amit a dolgozó a kamerán keresztül megfigyel, és hangon és videón keresztül tud neki mondani valamit, utalásokat rajzolni a térben. Valós térben van rögzítve, és ha egy szakértő körbejárt például egy darut, és azt mondta, hogy forgatni kell, lehet, hogy az alkalmazott elterelődik, de a célzás nem tűnik el sehol.
Ide tartoznak a játékmotorok – a Unity Engine és az Unreal Engine – is, amelyeket játékok vagy kiterjesztett virtuális valóság alkalmazások fejlesztésére használnak.
Interakciók a robottal
A robot egy olyan eszköz, amelyet vezéreltöbb szabadsági fokozat. Például lehet két motorja, amelyek mozgathatók és programokkal koordinálhatók. Az Innopolis Egyetem laboratóriumában sok ilyen eszköz található - egy drón, amely nem törik el, amikor leesik, egy humanoid és egy embernek látszó sétálórobot. Műszaki manipulátorok vannak, gyártásban is használhatók. Ezen eszközök mindegyikével kölcsönhatásba léphet.
Mi az a robot?
Hogyan tudom ezt megtenni?Az első példa a virtuális valóság, egy VR-szimulátor ipari manipulátorok számára. Ezen megtanulhatod, hogyan kell robottal dolgozni, megértheted az eszköz működését, programozhatod valamilyen művelet végrehajtására és szimulációban tesztelheted.
A következő megoldás a VR technológiák metszéspontjában ésA robotika egy fizikai folyamatszimulátor. Például egy szórakoztató repülésszimulátor egy űrrepülőgépben, ahol robotok szimulálnak egy repülést, a VR-szemüveg pedig a repülés egy-egy szakaszának megfelelő megoldást és képet ad. Így a folyamat magával ragadóvá és valósághűbbé válik.
A virtuális valóságot használjáktávműveletek - amikor veszélyes produkció van, nem biztonságos környezet, amelyben az embernek nehéz tartózkodnia. Ott működhetnek az eszközök, csökkentik az emberre gyakorolt veszélyt. De irányítani kell őket, a robot csak rutinműveleteket tud végrehajtani, és ha már katasztrófákról vagy nem biztonságos környezetről beszélünk, akkor ebben az esetben emberi intelligencia kell. Ezért szükség van távvezérlő interfészekre - a VR lesz az egyik lehetőség erre.
A robotok segíthetnek veszélyes műveletek során
A kiterjesztett és kevert valóság alkalmazásaleginkább a robotprogramozásban képviseltetik magukat. A felhasználó az eszközön keresztül láthatja a robot állapotát, mire készül. A kiterjesztett és kevert valóság az ilyen megoldásokra összpontosít. Amikor a robot telepítve van, és valamilyen feladathoz konfigurálni kell, erre egy speciális távirányítót használnak, amelyben az eszközt egy adott pozícióba lehet mozgatni, megjegyezni és tovább lehet mozgatni.
De amikor a program teljesen elkészült, nehézképzelje el, ha valami váratlan esemény történik. Ehhez speciális interfészek jönnek létre. Ez mind a biztonság, mind a hatékonyabb interakció érdekében szükséges.
Az XR és a vegyes valóság ebben segít.Itt konfigurálhatja a virtuális teret, beállíthatja egy adott kísérlethez, vagy megváltoztathatja a robotot. A mérnökök korlátlan konfigurációs lehetőséggel rendelkeznek, és ez csökkenti a biztonsági kockázatokat.
Konkrétan a mi megoldásunk többfélevirtuális objektumok. Van egy menüje a rendszerrel való interakcióhoz, egy célpont, amely leírja azt a pozíciót, ahová a robotot szeretnénk elérni. Ezután a robot virtuális modelljei és eszközei – megfogó vagy szerszám.
A pontjaink felállítása után futhatunk ismozgásszimuláció a pálya végrehajtásának ellenőrzésére. Enélkül egy robot vagy berendezés megsérülhet, és ha látunk egy virtuális szimulációt, az biztonságos és látható az ember számára.
És miután biztosak vagyunk abban, hogy a program helyes és biztosak vagyunk benne, elkezdhetjük a valódi robot munkáját és végrehajthatjuk a szükséges programot.
Hogyan kommunikáljunk egy robottal
Az alábbiakban láthatja, hogyan történik az interakciópályázatunkon keresztül. Ezek a felvételek a laboratóriumban és a kísérleti helyiségben készültek. Kétféle robottal kommunikálunk: a Platoon mobileszközzel és a Kuka IIWA ipari robottal.
A felhasználók Microsoft Hololens szemüveget viselnek,először elemzik a teret, majd gesztusok segítségével a felhasználó interakcióba kezd a robotokkal, meghatározza azok helyzetét, koordinátákat állít be és kacsázik, hogy az eszközök elinduljanak.
A robotok koordináták segítségével navigálnak az űrben
Egy mobil robothoz elég egy pontot tennia padlón ez egy 2D koordináta, a manipulátorhoz pedig egy 3D koordinátát kell beállítani. Minden manipulátornak megvannak a maga követelményei, és a program áthaladása után az eszközök szimulálhatók. Ugyanakkor azonnal jól láthatóak a pályák, hogy mit fog csinálni a robot - ezt nem lehet táblagépen vagy normál szövegszerkesztő felületen keresztül megtenni. Egy ilyen rendszer lényege, hogy egy interfészen keresztül különböző típusú robotokkal tud kommunikálni.
Ezek a többplatformos technológiák képeseklegyen érdekes azok számára, akik még mindig azt keresik, ami érdekli őket. Az XR és a robotika metszéspontja esetén olyan technológiák figyelhetők meg, mint a számítógépes látás - mind a szemüveg, mind a robot speciális kamerákkal rendelkezik a tér elemzésére. Vannak SLAM-algoritmusok is a térkép készítéséhez, vezérlők, nyomkövető rendszer az eszközök helymeghatározásához.
Olvass tovább
Hasonlítsa össze, hogy a NASA és a Roscosmos hogyan rögzítette a holdfogyatkozást
Az „ötödik erő” láthatatlan „falakat” hoz létre az univerzumban. A legfontosabb a fizikusok új elméletével kapcsolatban
Megjelent a majomhimlő fertőzési térkép