Trzecia fala urządzeń
Pojawiające się na świecie technologie i okulary XR to trzecia fala personalizacji
Nasz świat w nim jest całkowicie wzbogacony o hologramy,dzięki którym wizualizujemy wydarzenia i informacje. Tych funkcji można używać do celów projektowych, na przykład gdy chcesz wyświetlić model 3D w świecie przestrzennym. Dzięki temu systemowi możesz komunikować się z ludźmi, widzieć ich hologram, słyszeć ich, przekazywać im uczucia i emocje.
Dzięki rzeczywistości wirtualnej lub mieszanej możesz:tworzyć nowe obiekty, projektować je, tworzyć układy w przestrzeni na podstawie rysunku 2D. Wszystko to można zrobić za pomocą okularów Microsoft HoloLens lub urządzeń o podobnej technologii.
Różnice między AR, MR i VR
XR to skrót od rozszerzonej rzeczywistości. Dzieli się na trzy kategorie: rzeczywistość wirtualna, rzeczywistość mieszana i rzeczywistość rozszerzona.
W rzeczywistości mieszanej obiekty holograficzne iświat rzeczywisty oddziałuje ze sobą, istnieje mieszanka wirtualnych i rzeczywistych obiektów. W wirtualnej rzeczywistości użytkownik znajduje się tylko w wirtualnym świecie. W rzeczywistości rozszerzonej widzimy wirtualne obiekty, hologramy, ale nie czujemy ich głębi. W rzeczywistości mieszanej użytkownik widzi i czuje głębię, czyli wtedy, gdy hologram wydaje się prawdziwy.
Najbliżej rzeczywistego świata - rozszerzonerzeczywistość, jak niegdyś popularna aplikacja Pokemon Go. Jeśli mówimy o wirtualnej rzeczywistości, to w tym roku ukazała się gra Half-Life: Alyx, w której osoba jest zanurzona w wirtualnym świecie i wchodzi w interakcję z postaciami. Nie ma jeszcze popularnych gier w rzeczywistości mieszanej – aby zanurzyć się w rzeczywistości mieszanej, potrzebujesz specjalnego urządzenia, na przykład Microsoft HoloLens.
Microsoft Hololens
To cały laptop:posiada klasyczne moduły - baterię, procesory oraz specjalne moduły, takie jak optyka, czujniki do budowania otaczającej przestrzeni, analizowania gestów i zachowań użytkowników.
Ten proces wymaga specjalnej optyki, mynie możemy po prostu umieścić dwóch identycznych wyświetlaczy na każdym oku. W końcu, jeśli użytkownik otrzyma ten sam obraz, będzie się wydawać, że obiekt jest w nieskończoności ze względu na widzenie stereo. Microsoft HoloLens powinien wziąć to pod uwagę i dostosować obraz konkretnie do pozycji okularów, a nawet HoloLens mają teraz specjalne czujniki, które wykrywają pozycję źrenicy i dostosowują hologramy w zależności od tego, gdzie patrzymy.
Do oceny potrzebne są aparaty w okularachotaczającego świata, aby hologram można było umieścić w głębi, za rzeczywistym obiektem. W tym celu wykorzystywane są specjalne czujniki – są to kamery głębinowe, które analizują otaczającą nas przestrzeń i analizują jej głębokość.
Analiza przestrzeni
Istnieje również dedykowana kameraanalizuje gesty użytkownika - nowoczesne okulary Microsoft HoloLens potrafią wykrywać ręce. Oznacza to, że możesz wchodzić w interakcję z hologramami - zabieraj je, przesuwaj.
Analiza przestrzeni
Główną funkcją kamer jest analiza przestrzenina około. Użytkownik musi zrozumieć, gdzie znajduje się ściana, stół, przedmioty w pokoju. Oceniają je budując siatkę przestrzeni. Jest to geometria wokół miejsca, w którym można umieścić hologram za ścianą. Wirtualny obiekt możemy schować za prawdziwą ścianą, a to daje poczucie głębi i rzeczywistej obecności hologramów.
Okulary wykrywają gesty, ale do czego to służy?Aby wchodzić w interakcję z hologramami - użytkownicy muszą mieć możliwość ich klikania, obracania, przesuwania, użytkownicy muszą mieć wirtualną klawiaturę do wprowadzania tekstu. Chociaż teraz jest to bardzo niewygodne – okazuje się, że naciska się tylko jeden klawisz na sekundę.
Dlatego użytkownicy muszą uczyć się od nowainterakcji ze światem i interfejsem. Nikt wcześniej nie miał takiego urządzenia, dlatego programiści muszą pamiętać, że muszą one być intuicyjne i przypominać interakcje w świecie rzeczywistym. Wszystko powinno dziać się dokładnie tak samo, jak zwykle – użytkownik powinien móc podnieść kubek w taki sam sposób, jak w normalnym życiu. Jest to nawet miejsce dla wyobraźni, aby stworzyć nową mechanikę behawioralną.
Gdzie możesz zastosować rzeczywistość mieszaną w prawdziwym życiu
W centrum uwagi nowoczesnych okularów jest przemysł.Dlaczego nie zwykły użytkownik? Bo takie urządzenia są drogie – około 3,5 tys. dolarów. Tylko produkcja w sytuacjach krytycznych może uzasadnić koszt takiego urządzenia.
Pierwsze rozwiązanie, które można wdrożyć poprzezokulary są wirtualnym asystentem, jego idea polega na tym, że podczas produkcji niektóre operacje mają instrukcje dotyczące 100-150 kroków montażu i dokumentację techniczną, którą należy dogłębnie zrozumieć. A ideą takich okularów jest zdigitalizowanie tej instrukcji i wyświetlenie wszystkich tych kroków w postaci hologramów.
Opracowaliśmy prototyp takiego rozwiązania dlawystawa gazowa w Petersburgu, gdzie w aplikacji została zaimplementowana instrukcja obsługi cysterny na skroplony gaz ziemny. Pracownik w postaci hologramów, tekstu i dźwięku słyszy i widzi, co musi zrobić. Co więcej, jest to również dobra platforma do nauki nie tylko podczas procesu technicznego, a takie rozwiązanie można wykonać na okularach Microsoft HoloLens.
Inną opcją jest zdalny asystent, gdyłączymy pracownika w okularach i zdalnego eksperta. Ekspert za pośrednictwem interfejsu 2D widzi to, co pracownik obserwuje przez kamerę, i może mu coś powiedzieć za pomocą dźwięku i obrazu, narysować mu wskazówki w przestrzeni. Jest przymocowany w prawdziwej przestrzeni, a jeśli ekspert zakreśli na przykład dźwig i powie, że trzeba go obrócić, pracownik może być rozproszony, ale podpowiedź nigdzie nie zniknie.
Obejmuje to również silniki gier — Unity Engine i Unreal Engine, które służą do tworzenia gier lub aplikacji rozszerzonej rzeczywistości wirtualnej.
Interakcje z robotem
Robot to urządzenie kontrolowane przezkilka stopni swobody. Na przykład może mieć dwa silniki, które można przesuwać i koordynować za pomocą programów. W laboratorium Uniwersytetu Innopolis jest wiele takich urządzeń – dron, który nie pęka podczas upadku, humanoidalny i chodzący robot podobny do człowieka. Są manipulatory techniczne, można je wykorzystać w produkcji. Z każdym z tych urządzeń można wchodzić w interakcję.
Czym jest robot?
Jak mogę to zrobić?Pierwszym przykładem jest rzeczywistość wirtualna, symulator VR dla manipulatorów przemysłowych. Na nim można nauczyć się pracy z robotem, zrozumieć działanie urządzenia, zaprogramować go do wykonania jakiejś akcji i przetestować w symulacji.
Kolejne rozwiązanie na skrzyżowaniu technologii VR iRobotyka to symulator procesów fizycznych. Na przykład zabawny symulator lotu w statku kosmicznym, w którym roboty symulują lot, a okulary VR zapewniają rozwiązanie i obraz, który odpowiada określonemu etapowi lotu. Dzięki temu proces staje się wciągający i bardziej realistyczny.
Rzeczywistość wirtualna jest używana doteleoperacje - kiedy istnieje niebezpieczna produkcja, niebezpieczne środowisko, w którym człowiekowi trudno jest się znaleźć. Urządzenia mogą tam pracować, zmniejszają zagrożenie dla ludzi. Ale trzeba je kontrolować, robot może wykonywać tylko rutynowe operacje, a jeśli mówimy o katastrofach lub niebezpiecznym środowisku, to w tym przypadku potrzebujemy ludzkiej inteligencji. Dlatego potrzebne są interfejsy telekontroli – jedną z opcji będzie VR.
Roboty mogą pomóc podczas niebezpiecznych operacji
Zastosowanie rozszerzonej i mieszanej rzeczywistościnajbardziej reprezentowany w programowaniu robotów. Użytkownik może zobaczyć przez urządzenie stan robota, co zamierza zrobić. Rzeczywistość rozszerzona i mieszana skupia się na takich rozwiązaniach. Gdy robot jest już zainstalowany i wymaga skonfigurowania do jakiegoś zadania, wykorzystuje się do tego specjalny pilot, za pomocą którego urządzenie można przenieść w określone miejsce, zapamiętać i dalej przesuwać.
Ale kiedy program jest już w całości stworzony, jest to trudnewyobraź sobie, że wydarzy się jakiś nieprzewidziany incydent. W tym celu tworzone są specjalne interfejsy. Jest to konieczne zarówno ze względu na bezpieczeństwo, jak i bardziej wydajną interakcję.
Pomagają w tym XR i rzeczywistość mieszana.Tam możesz skonfigurować wirtualną przestrzeń, dostosować ją do konkretnego eksperymentu lub zmienić robota. Inżynierowie mają nieograniczone możliwości konfiguracji, co zmniejsza ryzyko bezpieczeństwa.
W szczególności nasze rozwiązanie wykorzystuje kilkaobiekty wirtualne. Posiada menu umożliwiające interakcję z systemem, punkt docelowy opisujący pozycję, do której chcemy, aby robot dotarł. Następnie powinny pojawić się wirtualne modele robota i jego urządzeń – chwytaka lub narzędzia.
Po skonfigurowaniu naszych punktów możemy biegaćsymulacja ruchu, aby sprawdzić, jak zostanie wykonana trajektoria. Bez niej robot czy sprzęt mogą ulec uszkodzeniu, a gdy widzimy wirtualną symulację, jest ona bezpieczna i wizualna dla człowieka.
A kiedy zrozumiemy na pewno, że program jest poprawny i jesteśmy tego pewni, możemy rozpocząć pracę prawdziwego robota i wykonać program, którego potrzebujemy.
Jak komunikować się z robotem
Poniżej możesz zobaczyć, jak zachodzi interakcjapoprzez naszą aplikację. Zdjęcia te wykonano w laboratorium i pomieszczeniu doświadczalnym. Współpracujemy z dwoma rodzajami robotów: urządzeniem mobilnym Platoon oraz robotem przemysłowym Kuka IIWA.
Użytkownicy noszą okulary Microsoft Hololens,najpierw analizują przestrzeń, a następnie za pomocą gestów użytkownik wchodzi w interakcję z robotami, określa ich pozycję, ustawia współrzędne i kaczki, aby urządzenia zaczęły się poruszać.
Roboty poruszają się w przestrzeni za pomocą współrzędnych
W przypadku robota mobilnego wystarczy postawić kropkęna podłodze jest to współrzędna 2D, a dla manipulatora musisz ustawić współrzędną 3D. Każdy manipulator ma swoje wymagania, a po przejściu programu można symulować urządzenia. A jednocześnie od razu wyraźnie widać trajektorie, co zrobi robot - nie można tego zrobić za pomocą tabletu lub zwykłego interfejsu edytora tekstu. Znaczenie takiego systemu polega na tym, że za pośrednictwem jednego interfejsu można wchodzić w interakcje z różnymi typami robotów.
To właśnie te wieloplatformowe technologie mogą:być interesującym dla ludzi, którzy wciąż szukają tego, co ich interesuje. W przypadku skrzyżowania XR i robotyki można zauważyć technologie takie jak komputerowe wizja – zarówno okulary, jak i robot mają specjalne kamery do analizy przestrzeni. Są też algorytmy SLAM do budowy mapy, kontrolery, system śledzenia do pozycjonowania urządzeń.
Czytaj więcej
Porównaj, jak zaćmienie Księżyca zostało sfilmowane przez NASA i Roscosmos
„Piąta siła” tworzy niewidzialne „ściany” we wszechświecie. Najważniejsze w nowej teorii fizyków
Opublikowana mapa infekcji ospy małp