Den tredje vågen av enheter
XR-teknologier och glasögon som dyker upp i världen är den tredje vågen av personlig
Vår värld i den är helt berikad med hologram,genom vilken vi visualiserar händelser och information. Dessa funktioner kan användas för designändamål, till exempel när du vill se en 3D-modell i den rumsliga världen. Genom detta system kan du kommunicera med människor, se deras hologram, höra dem, förmedla känslor och känslor till dem.
Genom virtuell eller blandad verklighet kan duskapa nya objekt, designa dem, skapa layouter i rymden baserat på en 2D-ritning. Allt detta kan göras med Microsoft HoloLens glasögon eller enheter med liknande teknik.
Skillnader mellan AR, MR och VR
XR är en förkortning för utökad verklighet. Den är indelad i tre kategorier: virtuell verklighet, blandad verklighet och förstärkt verklighet.
I blandad verklighet, holografiska objekt ochden verkliga världen interagerar med varandra, det finns en blandning av virtuella och verkliga objekt. I virtuell verklighet är användaren bara i den virtuella världen. I förstärkt verklighet ser vi virtuella objekt, hologram, men känner inte deras djup. I blandad verklighet ser och känner användaren djup, vilket är när hologrammet känns som om det är verkligt.
Närmast den verkliga världen - förstärktverkligheten, som den en gång populära Pokemon Go-appen. Om vi pratar om virtuell verklighet, så släpptes i år spelet Half-Life: Alyx, när en person är nedsänkt i en virtuell värld och interagerar med karaktärer där. Det finns inga populära spel i mixed reality ännu - för att fördjupa dig i mixed reality behöver du en speciell enhet, till exempel Microsoft HoloLens.
Microsoft Hololens
Det här är en hel bärbar dator:den har klassiska moduler - ett batteri, processorer och specialmoduler, såsom optik, sensorer för att bygga det omgivande utrymmet, analysera gester och användarbeteende.
Denna process kräver speciell optik, vivi kan inte bara sätta två identiska displayer på varje öga. När allt kommer omkring, om användaren får samma bild, kommer det att verka som att objektet är i oändligheten på grund av stereoseende. Microsoft HoloLens bör ta hänsyn till detta och justera bilden specifikt efter glasögonens position, och även HoloLens har nu speciella sensorer som känner av pupillens position och justerar hologrammen, beroende på var vi tittar.
Kameror i glasögon behövs för att kunna utvärderaomvärlden så att hologrammet kan placeras på djupet, bakom det verkliga föremålet. För detta används speciella sensorer - det här är djupkameror som analyserar utrymmet runt oss och analyserar dess djup.
Rymdanalys
Det finns också en dedikerad kameraanalyserar användargester - moderna Microsoft HoloLens-glasögon kan upptäcka händer. Det betyder att du kan interagera med hologram - ta dem, flytta dem.
Rymdanalys
Huvudfunktionen hos kameror är analys av rymdenrunt om. Användaren måste förstå var väggen, bordet, föremålen i rummet finns. De utvärderar dem genom att bygga ett rutnät av rymd. Detta är geometrin runt där du kan placera hologrammet bakom väggen. Vi kan gömma ett virtuellt objekt bakom en riktig vägg, och detta uppnår en känsla av djup och den verkliga närvaron av hologram.
Glasögon upptäcker gester, men vad är det till för?För att interagera med hologram - användare måste kunna klicka på dem, rotera, flytta, användare måste ha ett virtuellt tangentbord som skriver in text. Även om det nu är väldigt obekvämt - det visar sig att det bara trycker på en knapp per sekund.
Därför måste användarna lära sig igeninteragera med världen och gränssnittet. Ingen har haft en sådan här enhet tidigare, så utvecklare måste komma ihåg att de måste vara intuitiva, liknande interaktioner i verkliga världen. Allt ska ske precis som det brukar – användaren ska kunna plocka upp en mugg på samma sätt som i det vanliga livet. Och detta är till och med utrymme för fantasi för att skapa ny beteendemekanik.
Där du kan tillämpa blandad verklighet i verkligheten
Fokus för moderna glasögon är industrin.Varför inte en vanlig användare? Eftersom sådana enheter är dyra - cirka 3,5 tusen dollar. Endast produktion i kritiska situationer kan motivera kostnaden för en sådan enhet.
Den första lösningen som kan implementeras genomglasögon är en virtuell assistent, dess idé är att i produktionen har vissa operationer instruktioner för 100-150 monteringssteg och teknisk dokumentation, som du måste förstå på djupet. Och idén med sådana glasögon är att digitalisera denna instruktion och visa alla dessa steg i form av hologram.
Vi har tagit fram en prototyp av en sådan lösning fören gasmässa i S:t Petersburg, där en instruktion för ett tankfartyg för flytande naturgas implementerades i ansökan. Medarbetaren i form av hologram, text och ljud hör och ser vad han behöver göra. Dessutom är det också en bra plattform för att lära sig inte bara under den tekniska processen, och en sådan lösning kan göras på Microsoft HoloLens-glasögon.
Ett annat alternativ är en fjärrassistent närvi kopplar ihop arbetaren som bär glasögon och fjärrexperten. Experten genom 2D-gränssnittet ser vad arbetaren observerar genom kameran och kan berätta något för honom genom ljud och video, rita honom tips i rymden. Den är fäst i verkligt utrymme, och om en expert cirklade till exempel en kran och sa att den måste vändas, kan den anställde bli distraherad, men tipset försvinner inte någonstans.
Detta inkluderar även spelmotorer - Unity Engine och Unreal Engine, som används för att utveckla spel eller augmented virtual reality-applikationer.
Interaktioner med roboten
En robot är en enhet som styrs avflera frihetsgrader. Den kan till exempel ha två motorer som kan flyttas och koordineras med hjälp av program. Det finns många sådana enheter i laboratoriet vid Innopolis University - en drönare som inte går sönder när den faller, en humanoid och gårobot som liknar en person. Det finns tekniska manipulatorer, de kan användas i produktionen. Var och en av dessa enheter kan interageras med.
Vad är en robot?
Hur kan jag göra det?Det första exemplet är virtuell verklighet, en VR-simulator för industriella manipulatorer. På den kan du lära dig hur du arbetar med en robot, förstå hur enheten fungerar, du kan programmera den att utföra någon åtgärd och testa den i en simulering.
Nästa lösning i skärningspunkten mellan VR-teknologier ochRobotics är en fysisk processimulator. Till exempel en underhållande flygsimulator i en rymdfarkost, där robotar simulerar en flygning, och VR-glasögon ger en lösning och en bild som motsvarar ett visst skede av flygningen. Så processen blir uppslukande och mer realistisk.
Virtual reality används förteleoperationer - när det finns en farlig produktion, en osäker miljö där det är svårt för en person att vara. Enheter kan fungera där, de minskar faran för människor. Men de måste kontrolleras, roboten kan bara utföra rutinoperationer, och om vi pratar om katastrofer eller en osäker miljö, så behöver vi i det här fallet mänsklig intelligens. Därför behövs telekontrollgränssnitt - VR kommer att vara ett av alternativen för detta.
Robotar kan hjälpa till under farliga operationer
Tillämpning av förstärkt och blandad verklighetmest representerade inom robotprogrammering. Användaren kan genom enheten se tillståndet för roboten, vad den är på väg att göra. Augmented och mixed reality fokuserar på sådana lösningar. När roboten är installerad och behöver konfigureras för någon uppgift används en speciell fjärrkontroll för detta, där enheten kan flyttas till en specifik position, memoreras och flyttas vidare.
Men när programmet är helt skapat är det svårttänk om någon oförutsedd incident kommer att inträffa. För detta skapas speciella gränssnitt. Detta är nödvändigt både för säkerheten och för effektivare interaktion.
XR och mixed reality hjälper till med detta.Där kan du konfigurera det virtuella utrymmet, justera det för ett specifikt experiment eller byta robot. Ingenjörer har obegränsade konfigurationsmöjligheter, och detta minskar säkerhetsriskerna.
Specifikt använder vår lösning fleravirtuella objekt. Den har en meny för att interagera med systemet, en målpunkt som beskriver positionen dit vi vill att roboten ska komma. Därefter bör det finnas virtuella modeller av roboten och dess enheter – gripdon eller verktyg.
Efter att ha satt upp våra poäng kan vi springarörelsesimulering för att kontrollera hur banan kommer att utföras. Utan den kan en robot eller utrustning skadas, och när vi ser en virtuell simulering är det säkert och visuellt för en person.
Och efter att vi säkert har förstått att programmet är korrekt och är säkra på det, kan vi påbörja arbetet med den riktiga roboten och köra programmet vi behöver.
Hur man kommunicerar med en robot
Nedan kan du se hur interaktionen går tillgenom vår ansökan. Dessa bilder togs i laboratoriet och experimentrummet. Vi interagerar med två typer av robotar: den mobila enheten Platoon och industriroboten Kuka IIWA.
Användare bär Microsoft Hololens glasögon,först analyserar de utrymmet och sedan, med hjälp av gester, börjar användaren interagera med robotarna, bestämmer deras position, sätter koordinater och duckar för att enheterna ska börja röra sig.
Robotar navigerar i rymden med hjälp av koordinater
För en mobil robot räcker det att sätta en prickpå golvet är detta en 2D-koordinat, och för manipulatorn måste du ställa in en 3D-koordinat. Varje manipulator har sina egna krav, och efter att ha passerat programmet kan enheterna simuleras. Och samtidigt kan du omedelbart tydligt se banorna, vad roboten kommer att göra - detta kan inte göras via en surfplatta eller ett vanligt textredigeringsgränssnitt. Meningen med ett sådant system är att man genom ett gränssnitt kan interagera med olika typer av robotar.
Det är dessa plattformsoberoende teknologier som kanvara intressant för människor som fortfarande letar efter det de är intresserade av. När det gäller skärningspunkten mellan XR och robotik kan tekniker som datorseende noteras - både glasögonen och roboten har speciella kameror för att analysera rymden. Det finns också SLAM-algoritmer för att bygga en karta, kontroller, ett spårningssystem för enhetspositionering.
Läs mer
Jämför hur månförmörkelsen filmades av NASA och Roscosmos
Den "femte kraften" skapar osynliga "murar" i universum. Det viktigaste med den nya teorin om fysiker
Monkeypox-infektionskarta publicerad