De derde golf van apparaten
XR-technologieën en -brillen die in de wereld verschijnen, vormen de derde persoonlijke golf
Onze wereld daarin is volledig verrijkt met hologrammen,waarmee we gebeurtenissen en informatie visualiseren. Deze mogelijkheden kunnen worden gebruikt voor ontwerpdoeleinden, bijvoorbeeld wanneer u een 3D-model in de ruimtelijke wereld moet bekijken. Via dit systeem kun je met mensen communiceren, hun hologram zien, horen, gevoelens en emoties op hen overbrengen.
Via virtual of mixed reality kunt u:maak nieuwe objecten, ontwerp ze, maak lay-outs in de ruimte op basis van een 2D-tekening. Dit alles kan met Microsoft HoloLens-brillen of apparaten met vergelijkbare technologie.
Verschillen tussen AR, MR en VR
XR is een afkorting voor uitgebreide realiteit. Het is onderverdeeld in drie categorieën: virtual reality, mixed reality en augmented reality.
In mixed reality, holografische objecten ende echte wereld interageert met elkaar, er is een mengeling van virtuele en echte objecten. In virtual reality bevindt de gebruiker zich alleen in de virtuele wereld. In augmented reality zien we virtuele objecten, hologrammen, maar voelen we hun diepte niet. In mixed reality ziet en voelt de gebruiker diepte, waardoor het hologram aanvoelt alsof het echt is.
Het dichtst bij de echte wereld - augmentedrealiteit, zoals de ooit populaire Pokemon Go-app. Als we het hebben over virtual reality, dan is dit jaar de game Half-Life: Alyx uitgebracht, wanneer een persoon wordt ondergedompeld in een virtuele wereld en daar interactie heeft met personages. Er zijn nog geen populaire games in mixed reality - om jezelf onder te dompelen in mixed reality heb je een speciaal apparaat nodig, bijvoorbeeld Microsoft HoloLens.
Microsoft Hololens
Dit is een hele laptop:het heeft klassieke modules - een batterij, processors en speciale modules, zoals optica, sensoren voor het bouwen van de omringende ruimte, het analyseren van gebaren en gebruikersgedrag.
Dit proces vereist speciale optica, wewe kunnen niet zomaar twee identieke schermen op elk oog plaatsen. Immers, als de gebruiker hetzelfde beeld krijgt, lijkt het alsof het object zich in het oneindige bevindt vanwege stereovisie. Microsoft HoloLens zou hier rekening mee moeten houden en het beeld specifiek aanpassen aan de positie van de bril, en zelfs HoloLens hebben nu speciale sensoren die de positie van de pupil detecteren en de hologrammen aanpassen, afhankelijk van waar we kijken.
Camera's in een bril zijn nodig om te evaluerende omringende wereld zodat het hologram in de diepte kan worden geplaatst, achter het echte object. Hiervoor worden speciale sensoren gebruikt - dit zijn dieptecamera's die de ruimte om ons heen analyseren en de diepte ervan analyseren.
Ruimteanalyse
Er is ook een speciale cameraanalyseert gebruikersgebaren - moderne Microsoft HoloLens-brillen kunnen handen detecteren. Dit betekent dat je kunt communiceren met hologrammen - neem ze, verplaats ze.
Ruimteanalyse
De belangrijkste functie van de camera's is de analyse van de ruimtein de omgeving van. De gebruiker moet begrijpen waar de muur, tafel, objecten in de kamer zijn. Ze evalueren ze door een raster van ruimte te bouwen. Dit is de geometrie waar je het hologram achter de muur kunt plaatsen. We kunnen een virtueel object achter een echte muur verbergen, en dit zorgt voor een gevoel van diepte en de echte aanwezigheid van hologrammen.
Een bril detecteert gebaren, maar waar dient het voor?Om met hologrammen te werken, moeten gebruikers erop kunnen klikken, roteren, verplaatsen en moeten gebruikers een virtueel toetsenbord hebben dat tekst invoert. Hoewel het nu erg onhandig is - het blijkt slechts één toets per seconde in te drukken.
Daarom moeten gebruikers opnieuw lereninteractie met de wereld en interface. Niemand heeft eerder zo'n apparaat gehad, dus ontwikkelaars moeten er rekening mee houden dat ze intuïtief moeten zijn, vergelijkbaar met interacties in de echte wereld. Alles moet precies hetzelfde gebeuren als normaal: de gebruiker moet een mok op dezelfde manier kunnen oppakken als in het normale leven. En er is zelfs ruimte voor verbeelding om nieuwe gedragsmechanismen te creëren.
Waar je mixed reality in het echte leven kunt toepassen
De focus van moderne brillen is de industrie.Waarom geen gewone gebruiker? Omdat dergelijke apparaten duur zijn - ongeveer 3,5 duizend dollar. Alleen productie in kritieke situaties kan de kosten van een dergelijk apparaat rechtvaardigen.
De eerste oplossing die kan worden geïmplementeerd viabril is een virtuele assistent, het idee is dat in productie sommige bewerkingen instructies hebben van 100-150 montagestappen en technische documentatie, die u grondig moet begrijpen. En het idee van zo'n bril is om deze instructie te digitaliseren en al deze stappen weer te geven in de vorm van hologrammen.
We hebben een prototype van een dergelijke oplossing ontwikkeld voor:een gastentoonstelling in St. Petersburg, waar een instructie voor een vloeibaar aardgastanker in de aanvraag werd geïmplementeerd. De medewerker in de vorm van hologrammen, tekst en audio hoort en ziet wat hij moet doen. Bovendien is het ook een goed platform om niet alleen tijdens het technische proces te leren, en een dergelijke oplossing kan worden gedaan op een Microsoft HoloLens-bril.
Een andere optie is een afstandsbediening wanneer:we verbinden de arbeider met een bril en de expert op afstand. De expert ziet via de 2D-interface wat de arbeider door de camera waarneemt en kan hem iets vertellen via audio en video, hem hints geven in de ruimte. Het wordt in de echte ruimte bevestigd en als een expert bijvoorbeeld een kraan omcirkelt en zegt dat deze moet worden gedraaid, kan de medewerker worden afgeleid, maar de hint zal nergens verdwijnen.
Dit omvat ook game-engines - Unity Engine en Unreal Engine, die worden gebruikt om games of augmented virtual reality-toepassingen te ontwikkelen.
Interacties met de robot
Een robot is een apparaat dat wordt bestuurd door:meerdere vrijheidsgraden. Het kan bijvoorbeeld twee motoren hebben die met programma's kunnen worden verplaatst en gecoördineerd. In het laboratorium van Innopolis University zijn er veel van dergelijke apparaten - een drone die niet breekt als hij valt, een mensachtige en lopende robot die op een persoon lijkt. Er zijn technische manipulatoren, deze kunnen in productie worden gebruikt. Elk van deze apparaten kan worden gebruikt.
Wat is een robot?
Hoe kan ik dat doen?Het eerste voorbeeld is virtual reality, een VR-simulator voor industriële manipulatoren. Hierop kunt u leren werken met een robot, begrijpen hoe het apparaat werkt, u kunt het programmeren om een bepaalde actie uit te voeren en het in een simulatie testen.
De volgende oplossing op het snijvlak van VR-technologieën enRobotica is een fysieke processimulator. Bijvoorbeeld een vermakelijke vluchtsimulator in een ruimtevaartuig, waar robots een vlucht simuleren, en VR-brillen zorgen voor een oplossing en een beeld dat overeenkomt met een bepaalde fase van de vlucht. Het proces wordt dus meeslepend en realistischer.
Virtual reality wordt gebruikt voorteleoperaties - wanneer er sprake is van een gevaarlijke productie, een onveilige omgeving waarin het moeilijk is voor een persoon om te zijn. Apparaten kunnen daar werken, ze verminderen het gevaar voor de mens. Maar ze moeten worden bestuurd, de robot kan alleen routinehandelingen uitvoeren, en als we het hebben over rampen of een onveilige omgeving, dan hebben we in dit geval menselijke intelligentie nodig. Daarom zijn telecontrol-interfaces nodig - VR zal hiervoor een van de opties zijn.
Robots kunnen helpen tijdens gevaarlijke operaties
Toepassing van augmented en mixed realityhet meest vertegenwoordigd in robotprogrammering. De gebruiker kan via het apparaat zien wat de status van de robot is en wat deze gaat doen. Augmented en mixed reality richt zich op dergelijke oplossingen. Wanneer de robot is geïnstalleerd en voor een bepaalde taak moet worden geconfigureerd, wordt hiervoor een speciale afstandsbediening gebruikt, waarmee het apparaat naar een specifieke positie kan worden verplaatst, kan worden opgeslagen en verder kan worden verplaatst.
Maar wanneer het programma volledig is gemaakt, is het moeilijkstel je voor dat er een onvoorzien incident zal plaatsvinden. Hiervoor worden speciale interfaces gemaakt. Dit is zowel nodig voor de veiligheid als voor een efficiëntere interactie.
XR en mixed reality helpen hierbij.Daar kun je de virtuele ruimte configureren, aanpassen voor een specifiek experiment of de robot veranderen. Ingenieurs hebben onbeperkte opties voor configuratie en dit vermindert beveiligingsrisico's.
Concreet gebruikt onze oplossing er meerderevirtuele objecten. Het heeft een menu voor interactie met het systeem, een richtpunt dat de positie beschrijft waar we willen dat de robot komt. Vervolgens moeten er virtuele modellen zijn van de robot en zijn apparaten: grijper of gereedschap.
Nadat we onze punten hebben ingesteld, kunnen we rennenbewegingssimulatie om te controleren hoe het traject wordt uitgevoerd. Zonder dit kan een robot of apparatuur worden beschadigd, en wanneer we een virtuele simulatie zien, is deze veilig en visueel voor een persoon.
En nadat we zeker weten dat het programma correct is en er zeker van zijn, kunnen we het werk van de echte robot starten en het programma uitvoeren dat we nodig hebben.
Hoe te communiceren met een robot
Hieronder zie je hoe de interactie plaatsvindtvia onze applicatie. Deze opnamen zijn gemaakt in het laboratorium en de experimentele ruimte. We werken met twee soorten robots: het mobiele apparaat Platoon en de industriële robot Kuka IIWA.
Gebruikers dragen een Microsoft Hololens-bril,eerst analyseren ze de ruimte en vervolgens begint de gebruiker met behulp van gebaren te communiceren met de robots, bepaalt hun positie, stelt coördinaten in en eendt om de apparaten te laten bewegen.
Robots navigeren in de ruimte met behulp van coördinaten
Voor een mobiele robot is het voldoende om een punt te plaatsenop de vloer is dit een 2D-coördinaat en voor de manipulator moet u een 3D-coördinaat instellen. Elke manipulator heeft zijn eigen vereisten en na het passeren van het programma kunnen de apparaten worden gesimuleerd. En tegelijkertijd kun je meteen duidelijk de trajecten zien, wat de robot zal doen - dit kan niet worden gedaan via een tablet of een gewone teksteditor-interface. De betekenis van zo'n systeem is dat je via één interface kunt communiceren met verschillende soorten robots.
Het zijn deze platformonafhankelijke technologieën dieinteressant zijn voor mensen die nog op zoek zijn naar datgene waarin ze geïnteresseerd zijn. In het geval van de kruising van XR en robotica kunnen technologieën zoals computervisie worden opgemerkt - zowel de bril als de robot hebben speciale camera's om de ruimte te analyseren. Er zijn ook SLAM-algoritmen voor het bouwen van een kaart, controllers, een volgsysteem voor apparaatpositionering.
Lees verder
Vergelijk hoe de maansverduistering werd gefilmd door NASA en Roscosmos
De "vijfde kracht" creëert onzichtbare "muren" in het universum. Het belangrijkste van de nieuwe theorie van natuurkundigen
Monkeypox-infectiekaart gepubliceerd