Třetí vlna přístrojů
XR technologie a brýle, které se objevují ve světě, jsou třetí vlnou osobního
Náš svět v něm je zcela obohacen hologramy,prostřednictvím kterého vizualizujeme události a informace. Tyto funkce lze použít pro účely návrhu, například když chcete zobrazit 3D model v prostorovém světě. Prostřednictvím tohoto systému můžete komunikovat s lidmi, vidět jejich hologram, slyšet je, předávat jim pocity a emoce.
Prostřednictvím virtuální nebo smíšené reality můžetevytvářet nové objekty, navrhovat je, vytvářet rozvržení v prostoru na základě 2D výkresu. To vše lze provést s brýlemi Microsoft HoloLens nebo zařízeními s podobnou technologií.
Rozdíly mezi AR, MR a VR
XR je zkratka pro rozšířenou realitu. Dělí se do tří kategorií: virtuální realita, smíšená realita a rozšířená realita.
Ve smíšené realitě, holografické objekty askutečný svět se vzájemně ovlivňuje, je zde směs virtuálních a skutečných objektů. Ve virtuální realitě je uživatel pouze ve virtuálním světě. V rozšířené realitě vidíme virtuální předměty, hologramy, ale necítíme jejich hloubku. Ve smíšené realitě uživatel vidí a cítí hloubku, což je situace, kdy má hologram pocit, že je skutečný.
Nejblíže skutečnému světu – rozšířenýreality, jako kdysi populární aplikace Pokemon Go. Pokud se budeme bavit o virtuální realitě, tak letos vyšla hra Half-Life: Alyx, kdy se člověk ponoří do virtuálního světa a interaguje tam s postavami. Ve smíšené realitě zatím žádné oblíbené hry nejsou – k ponoření se do smíšené reality potřebujete speciální zařízení, například Microsoft HoloLens.
Microsoft Hololens
Toto je celý notebook:má klasické moduly - baterii, procesory a speciální moduly, jako je optika, senzory pro budování okolního prostoru, analyzování gest a chování uživatele.
Tento proces vyžaduje speciální optiku, mynemůžeme jen tak umístit dva stejné displeje na každé oko. Pokud totiž uživatel dostane stejný obrázek, bude se zdát, že objekt je v nekonečnu kvůli stereo vidění. Microsoft HoloLens by s tím měl počítat a upravit obraz konkrétně na pozici brýlí a i HoloLens mají nyní speciální senzory, které zjišťují polohu zornice a upravují hologramy podle toho, kam se díváme.
K vyhodnocení jsou potřeba kamery v brýlíchokolní svět, aby bylo možné hologram umístit do hloubky, za skutečný objekt. K tomu se používají speciální senzory - to jsou hloubkové kamery, které analyzují prostor kolem nás a analyzují jeho hloubku.
Analýza prostoru
Nechybí ani vyhrazená kameraanalyzuje uživatelská gesta – moderní brýle Microsoft HoloLens dokážou detekovat ruce. To znamená, že můžete interagovat s hologramy – brát je, přesouvat je.
Analýza prostoru
Hlavní funkcí kamer je analýza prostorukolem. Uživatel musí pochopit, kde se v místnosti nachází stěna, stůl, předměty. Vyhodnocují je vytvořením mřížky prostoru. Toto je geometrie, kde můžete umístit hologram za zeď. Virtuální objekt můžeme schovat za skutečnou zdí a tím dosáhneme pocitu hloubky a skutečné přítomnosti hologramů.
Brýle detekují gesta, ale k čemu jsou?Pro interakci s hologramy – uživatelé musí mít možnost na ně klikat, otáčet je, přesouvat, uživatelé musí mít virtuální klávesnici, která zadává text. I když je to nyní velmi nepohodlné - ukázalo se, že stisknete pouze jednu klávesu za sekundu.
Uživatelé se proto musí znovu učitkomunikovat se světem a rozhraním. Takové zařízení ještě nikdo neměl, takže vývojáři musí mít na paměti, že musí být intuitivní, podobně jako interakce v reálném světě. Vše by se mělo dít úplně stejně jako obvykle – uživatel by měl mít možnost vzít hrnek do ruky stejně jako v běžném životě. A to je dokonce prostor pro představivost k vytvoření nových mechanismů chování.
Kde můžete použít smíšenou realitu v reálném životě
Středem zájmu moderních brýlí je průmysl.Proč ne běžný uživatel? Protože taková zařízení jsou drahá - asi 3,5 tisíce dolarů. Pouze výroba v kritických situacích může ospravedlnit náklady na takové zařízení.
První řešení, které lze implementovat prostřednictvímbrýle je virtuální asistent, jeho myšlenkou je, že ve výrobě mají některé provozy návod na 100-150 montážních kroků a technickou dokumentaci, které musíte do hloubky porozumět. A myšlenkou takových brýlí je digitalizovat tento návod a zobrazit všechny tyto kroky ve formě hologramů.
Vyvinuli jsme prototyp takového řešení provýstava plynu v Petrohradě, kde byl do aplikace implementován návod pro tanker na zkapalněný zemní plyn. Zaměstnanec ve formě hologramů, textu a zvuku slyší a vidí, co má udělat. Navíc je to také dobrá platforma pro učení nejen během technického procesu a takové řešení lze provést na brýlích Microsoft HoloLens.
Další možností je vzdálený asistent přispojujeme pracovníka s brýlemi a vzdáleného experta. Expert přes 2D rozhraní vidí, co pracovník pozoruje přes kameru a může mu něco sdělit prostřednictvím zvuku a videa, kreslit mu náznaky v prostoru. Je přichycena v reálném prostoru, a pokud odborník obkroužil například jeřáb a řekl, že je třeba jej otočit, může být pracovník rozptýlen, ale nápověda nikam nezmizí.
Patří sem i herní enginy – Unity Engine a Unreal Engine, které slouží k vývoji her nebo aplikací pro rozšířenou virtuální realitu.
Interakce s robotem
Robot je zařízení, které ovládáněkolik stupňů volnosti. Může mít například dva motory, které lze pohybovat a koordinovat pomocí programů. Takových zařízení je v laboratoři univerzity Innopolis mnoho – dron, který se při pádu nerozbije, humanoidní a chodící robot podobný člověku. Existují technické manipulátory, lze je použít ve výrobě. S každým z těchto zařízení lze komunikovat.
co je robot?
Jak to mohu udělat?Prvním příkladem je virtuální realita, simulátor VR pro průmyslové manipulátory. Můžete se na něm naučit pracovat s robotem, pochopit, jak zařízení funguje, můžete ho naprogramovat tak, aby provedl nějakou akci a vyzkoušet si jej v simulaci.
Další řešení na průsečíku VR technologií aRobotika je fyzický simulátor procesů. Například zábavný letecký simulátor v kosmické lodi, kde roboti simulují let a VR brýle poskytují řešení a obrázek, který odpovídá určité fázi letu. Proces se tak stává pohlcujícím a realističtějším.
K tomu slouží virtuální realitateleoperace - když existuje nebezpečná výroba, nebezpečné prostředí, ve kterém je pro člověka těžké být. Mohou tam fungovat přístroje, snižují nebezpečí pro člověka. Je ale potřeba je ovládat, robot může provádět pouze rutinní operace, a pokud se bavíme o katastrofách nebo nebezpečném prostředí, tak v tomto případě potřebujeme lidskou inteligenci. Proto jsou zapotřebí rozhraní dálkového ovládání - VR bude jednou z možností.
Roboti mohou pomoci při nebezpečných operacích
Aplikace rozšířené a smíšené realitynejvíce zastoupené v programování robotů. Uživatel může prostřednictvím zařízení vidět stav robota, co se chystá udělat. Na taková řešení se zaměřuje rozšířená a smíšená realita. Když je robot nainstalován a je potřeba ho pro nějaký úkol nakonfigurovat, slouží k tomu speciální dálkový ovladač, ve kterém lze zařízení přesunout na konkrétní pozici, uložit do paměti a posouvat dále.
Ale když je program kompletně vytvořen, je to těžképředstavte si, že dojde k nějaké nepředvídatelné události. K tomu jsou vytvořena speciální rozhraní. To je nezbytné jak pro bezpečnost, tak pro efektivnější interakci.
K tomu pomáhá XR a smíšená realita.Zde můžete nakonfigurovat virtuální prostor, upravit jej pro konkrétní experiment nebo změnit robota. Inženýři mají neomezené možnosti konfigurace, což snižuje bezpečnostní rizika.
Konkrétně naše řešení používá několikvirtuální objekty. Má menu pro interakci se systémem, cílový bod, který popisuje pozici, kam chceme, aby se robot dostal. Dále by měly být virtuální modely robota a jeho zařízení — chapadla nebo nástroje.
Po nastavení našich bodů můžeme běžetsimulace pohybu pro kontrolu, jak bude trajektorie provedena. Bez něj může dojít k poškození robota nebo zařízení, a když vidíme virtuální simulaci, je to pro člověka bezpečné a vizuální.
A poté, co s jistotou pochopíme, že program je správný a jsme si tím jisti, můžeme zahájit práci skutečného robota a spustit program, který potřebujeme.
Jak komunikovat s robotem
Níže vidíte, jak k interakci docházíprostřednictvím naší aplikace. Tyto záběry byly pořízeny v laboratoři a experimentální místnosti. Spolupracujeme se dvěma typy robotů: mobilním zařízením Platoon a průmyslovým robotem Kuka IIWA.
Uživatelé nosí brýle Microsoft Hololens,nejprve analyzují prostor a poté pomocí gest začne uživatel interagovat s roboty, určí jejich polohu, nastaví souřadnice a kačí, aby se zařízení dala do pohybu.
Roboti se pohybují v prostoru pomocí souřadnic
U mobilního robota stačí dát tečkuna podlaze je to 2D souřadnice a pro manipulátor musíte nastavit 3D souřadnici. Každý manipulátor má své požadavky a po absolvování programu lze zařízení simulovat. A přitom hned jasně vidíte trajektorie, co robot udělá – to nelze udělat přes tablet nebo rozhraní běžného textového editoru. Smyslem takového systému je, že prostřednictvím jednoho rozhraní můžete komunikovat s různými typy robotů.
Právě tyto multiplatformní technologie mohoubýt zajímavý pro lidi, kteří stále hledají to, co je zajímá. V případě průniku XR a robotiky lze zaznamenat technologie jako počítačové vidění - brýle i robot mají speciální kamery pro analýzu prostoru. Existují také algoritmy SLAM pro stavbu mapy, ovladače, sledovací systém pro určování polohy zařízení.
Přečtěte si více
Porovnejte, jak bylo zatmění Měsíce natočeno NASA a Roskosmosem
„Pátá síla“ vytváří neviditelné „stěny“ ve vesmíru. To hlavní o nové teorii fyziků
Zveřejněna mapa infekce opičími neštovicemi