Die dritte Gerätewelle
XR-Technologien und -Brillen, die auf der Welt auftauchen, sind die dritte Welle persönlicher
Unsere Welt darin ist komplett mit Hologrammen angereichert,durch die wir Ereignisse und Informationen visualisieren. Diese Funktionen können für Designzwecke verwendet werden, z. B. wenn Sie ein 3D-Modell in der räumlichen Welt anzeigen möchten. Durch dieses System können Sie mit Menschen kommunizieren, ihr Hologramm sehen, sie hören, ihnen Gefühle und Emotionen vermitteln.
Durch Virtual oder Mixed Reality ist das möglichErstellen Sie neue Objekte, entwerfen Sie sie, erstellen Sie Layouts im Raum basierend auf einer 2D-Zeichnung. All dies kann mit Microsoft HoloLens-Brillen oder Geräten mit ähnlicher Technologie erfolgen.
Unterschiede zwischen AR, MR und VR
XR ist eine Abkürzung für Extended Reality. Es ist in drei Kategorien unterteilt: Virtual Reality, Mixed Reality und Augmented Reality.
In Mixed Reality werden holografische Objekte unddie reale Welt interagieren miteinander, es entsteht eine Mischung aus virtuellen und realen Objekten. In der virtuellen Realität befindet sich der Benutzer nur in der virtuellen Welt. In der Augmented Reality sehen wir virtuelle Objekte, Hologramme, spüren aber nicht deren Tiefe. In der gemischten Realität sieht und fühlt der Benutzer Tiefe, wenn sich das Hologramm anfühlt, als wäre es echt.
Am nächsten an der realen Welt - erweitertRealität, wie die einst beliebte Pokemon Go-App. Wenn wir über virtuelle Realität sprechen, dann wurde dieses Jahr das Spiel Half-Life: Alyx veröffentlicht, bei dem eine Person in eine virtuelle Welt eintaucht und dort mit Charakteren interagiert. Beliebte Spiele in Mixed Reality gibt es noch nicht – um in Mixed Reality einzutauchen, braucht man ein spezielles Gerät, zum Beispiel Microsoft HoloLens.
Microsoft Hololens
Dies ist ein ganzer Laptop:Es hat klassische Module - eine Batterie, Prozessoren und spezielle Module wie Optik, Sensoren zum Aufbau des Umgebungsraums, Analyse von Gesten und Benutzerverhalten.
Dieser Prozess erfordert spezielle Optiken, wirWir können nicht einfach zwei identische Displays auf jedes Auge setzen. Wenn dem Benutzer schließlich dasselbe Bild angezeigt wird, scheint es, als ob sich das Objekt aufgrund der Stereovision im Unendlichen befindet. Microsoft HoloLens sollte dies berücksichtigen und das Bild gezielt an die Position der Brille anpassen, und auch HoloLens verfügen mittlerweile über spezielle Sensoren, die die Position der Pupille erkennen und die Hologramme je nach Blickrichtung anpassen.
Zur Auswertung werden Kameras in Brillen benötigtdie umgebende Welt, so dass das Hologramm in der Tiefe hinter dem realen Objekt platziert werden kann. Dazu werden spezielle Sensoren verwendet - das sind Tiefenkameras, die den Raum um uns herum analysieren und seine Tiefe analysieren.
Raumanalyse
Es gibt auch eine dedizierte Kameraanalysiert Benutzergesten - moderne Microsoft HoloLens-Brillen können Hände erkennen. Das bedeutet, dass Sie mit Hologrammen interagieren können - nehmen Sie sie, bewegen Sie sie.
Raumanalyse
Die Hauptfunktion von Kameras ist die Raumanalyseum. Der Benutzer muss verstehen, wo sich die Wand, der Tisch und die Gegenstände im Raum befinden. Sie werten sie aus, indem sie ein Raumraster aufbauen. Dies ist die Geometrie, in der Sie das Hologramm hinter der Wand platzieren können. Wir können ein virtuelles Objekt hinter einer realen Wand verstecken, wodurch ein Gefühl von Tiefe und die reale Präsenz von Hologrammen erreicht wird.
Brillen erkennen Gesten, aber wozu dient sie?Um mit Hologrammen zu interagieren, müssen Benutzer in der Lage sein, auf sie zu klicken, sie zu drehen und zu bewegen, Benutzer müssen über eine virtuelle Tastatur verfügen, die Text eingibt. Obwohl es jetzt sehr unpraktisch ist - es stellt sich heraus, dass nur eine Taste pro Sekunde gedrückt wird.
Daher müssen Benutzer erneut lernenmit der Welt und der Schnittstelle interagieren. Bisher hatte noch niemand ein solches Gerät, daher müssen Entwickler bedenken, dass es intuitiv sein muss, ähnlich wie bei Interaktionen in der realen Welt. Alles sollte genau so ablaufen, wie es normalerweise passiert – der Benutzer sollte in der Lage sein, eine Tasse auf die gleiche Weise wie im normalen Leben in die Hand zu nehmen. Und hier ist sogar Raum für Fantasie, um neue Verhaltensmechanismen zu schaffen.
Wo Sie Mixed Reality im wirklichen Leben anwenden können
Der Fokus moderner Brillen liegt auf der Industrie.Warum kein normaler Benutzer? Denn solche Geräte sind teuer - etwa 3,5 Tausend Dollar. Nur die Produktion in kritischen Situationen kann die Kosten für ein solches Gerät rechtfertigen.
Die erste Lösung, die durch implementiert werden kannDie Brille ist ein virtueller Assistent, dessen Idee darin besteht, dass in der Produktion einige Arbeitsgänge Anweisungen mit 100-150 Montageschritten und eine technische Dokumentation haben, die Sie gründlich verstehen müssen. Und die Idee einer solchen Brille ist es, diese Anleitung zu digitalisieren und all diese Schritte in Form von Hologrammen darzustellen.
Wir haben einen Prototypen einer solchen Lösung für entwickelteine Gasmesse in St. Petersburg, wo eine Anleitung für einen Flüssiggastanker in die Anwendung umgesetzt wurde. Der Mitarbeiter in Form von Hologrammen, Text und Audio hört und sieht, was er zu tun hat. Darüber hinaus ist es auch eine gute Lernplattform, nicht nur während des technischen Prozesses, und eine solche Lösung kann auf Microsoft HoloLens-Brillen durchgeführt werden.
Eine weitere Option ist ein Remote-Assistent, wennWir verbinden den Arbeiter mit Brille und den Remote-Experten. Der Experte sieht über die 2D-Schnittstelle, was der Arbeiter durch die Kamera beobachtet, und kann ihm über Audio und Video etwas mitteilen, ihm Hinweise im Raum zeichnen. Es ist im realen Raum angebracht, und wenn ein Experte beispielsweise einen Kran umkreist und sagt, dass er gedreht werden muss, ist der Mitarbeiter möglicherweise abgelenkt, aber der Hinweis verschwindet nirgendwo.
Dazu gehören auch Game-Engines – Unity Engine und Unreal Engine, die zur Entwicklung von Spielen oder Augmented-Virtual-Reality-Anwendungen verwendet werden.
Interaktionen mit dem Roboter
Ein Roboter ist ein Gerät, das von gesteuert wirdmehrere Freiheitsgrade. Beispielsweise kann es zwei Motoren haben, die über Programme bewegt und koordiniert werden können. Im Labor der Innopolis-Universität gibt es viele solcher Geräte – eine Drohne, die nicht zerbricht, wenn sie fällt, ein humanoider und einem Menschen ähnlicher Laufroboter. Es gibt technische Manipulatoren, sie können in der Produktion eingesetzt werden. Mit jedem dieser Geräte kann interagiert werden.
Was ist ein Roboter?
Wie kann ich das machen?Das erste Beispiel ist Virtual Reality, ein VR-Simulator für industrielle Manipulatoren. Darauf können Sie lernen, wie man mit einem Roboter arbeitet, verstehen, wie das Gerät funktioniert, Sie können es programmieren, um eine Aktion auszuführen, und es in einer Simulation testen.
Die nächste Lösung an der Schnittstelle von VR-Technologien undRobotik ist ein physikalischer Prozesssimulator. Zum Beispiel ein unterhaltsamer Flugsimulator in einem Raumschiff, in dem Roboter einen Flug simulieren und eine VR-Brille eine Lösung und ein Bild liefert, das einem bestimmten Flugabschnitt entspricht. So wird der Prozess immersiver und realistischer.
Virtuelle Realität wird verwendet fürTeleoperationen - wenn es sich um eine gefährliche Produktion handelt, eine unsichere Umgebung, in der es für eine Person schwierig ist, sich aufzuhalten. Geräte können dort arbeiten, sie reduzieren die Gefahr für den Menschen. Aber sie müssen gesteuert werden, der Roboter kann nur Routineoperationen ausführen, und wenn wir über Katastrophen oder eine unsichere Umgebung sprechen, dann brauchen wir in diesem Fall menschliche Intelligenz. Daher werden Fernwirkschnittstellen benötigt – VR wird eine der Optionen dafür sein.
Roboter können bei gefährlichen Einsätzen helfen
Anwendung von Augmented und Mixed Realityam stärksten in der Roboterprogrammierung vertreten. Der Benutzer kann über das Gerät den Zustand des Roboters sehen und sehen, was er gerade tun wird. Augmented und Mixed Reality konzentrieren sich auf solche Lösungen. Wenn der Roboter installiert ist und für eine Aufgabe konfiguriert werden muss, wird hierfür eine spezielle Fernbedienung verwendet, mit der das Gerät an eine bestimmte Position bewegt, gespeichert und weiterbewegt werden kann.
Aber wenn das Programm fertig erstellt ist, wird es schwierigStellen Sie sich vor, dass ein unvorhergesehener Zwischenfall eintreten wird. Dafür werden spezielle Schnittstellen geschaffen. Dies ist sowohl für die Sicherheit als auch für eine effizientere Interaktion erforderlich.
XR und Mixed Reality helfen dabei.Dort können Sie den virtuellen Raum konfigurieren, für ein bestimmtes Experiment anpassen oder den Roboter wechseln. Ingenieure haben unbegrenzte Konfigurationsmöglichkeiten, was Sicherheitsrisiken reduziert.
Konkret verwendet unsere Lösung mehrerevirtuelle Objekte. Es verfügt über ein Menü zur Interaktion mit dem System und einen Zielpunkt, der die Position beschreibt, an der der Roboter ankommen soll. Als nächstes sollten virtuelle Modelle des Roboters und seiner Geräte – Greifer oder Werkzeug – entstehen.
Nachdem wir unsere Punkte eingerichtet haben, können wir laufenBewegungssimulation, um zu prüfen, wie die Trajektorie ausgeführt wird. Ohne sie können ein Roboter oder eine Ausrüstung beschädigt werden, und wenn wir eine virtuelle Simulation sehen, ist sie für eine Person sicher und visuell.
Und nachdem wir sicher verstanden haben, dass das Programm korrekt ist und sich dessen sicher sind, können wir mit der Arbeit des echten Roboters beginnen und das benötigte Programm ausführen.
Wie man mit einem Roboter kommuniziert
Unten können Sie sehen, wie die Interaktion abläuftdurch unsere Bewerbung. Diese Aufnahmen wurden im Labor und Versuchsraum gemacht. Wir interagieren mit zwei Arten von Robotern: dem mobilen Gerät Platoon und dem Industrieroboter Kuka IIWA.
Benutzer tragen eine Microsoft Hololens-Brille,zuerst analysieren sie den raum und dann beginnt der nutzer mit hilfe von gesten mit den robotern zu interagieren, bestimmt deren position, setzt koordinaten und duckt sich, damit sich die geräte in bewegung setzen.
Roboter navigieren im Raum anhand von Koordinaten
Für einen mobilen Roboter reicht es aus, einen Punkt zu setzenAuf dem Boden ist dies eine 2D-Koordinate, und für den Manipulator müssen Sie eine 3D-Koordinate festlegen. Jeder Manipulator hat seine eigenen Anforderungen, und nach dem Durchlaufen des Programms können die Geräte simuliert werden. Und gleichzeitig können Sie sofort deutlich die Flugbahnen sehen, was der Roboter tun wird – dies kann nicht über ein Tablet oder eine normale Texteditor-Oberfläche erfolgen. Die Bedeutung eines solchen Systems besteht darin, dass Sie über eine Schnittstelle mit verschiedenen Arten von Robotern interagieren können.
Es sind diese plattformübergreifenden Technologien, die das könnenfür Menschen interessant sein, die noch auf der Suche nach dem sind, was sie interessiert. Bei der Schnittmenge von XR und Robotik sind Technologien wie Computer Vision zu nennen – sowohl die Brille als auch der Roboter verfügen über spezielle Kameras zur Raumanalyse. Es gibt auch SLAM-Algorithmen zum Erstellen einer Karte, Controller, ein Tracking-System für die Gerätepositionierung.
weiter lesen
Vergleichen Sie, wie die Mondfinsternis von der NASA und Roscosmos gefilmt wurde
Die „fünfte Kraft“ erschafft unsichtbare „Mauern“ im Universum. Die Hauptsache über die neue Theorie der Physiker
Affenpocken-Infektionskarte veröffentlicht