La troisième vague d'appareils
Les technologies et lunettes XR qui font leur apparition dans le monde constituent la troisième vague de
Notre monde y est complètement enrichi d'hologrammes,à travers lequel nous visualisons les événements et les informations. Ces fonctionnalités peuvent être utilisées à des fins de conception, par exemple lorsque vous souhaitez afficher un modèle 3D dans le monde spatial. Grâce à ce système, vous pouvez communiquer avec les gens, voir leur hologramme, les entendre, leur transmettre des sentiments et des émotions.
Grâce à la réalité virtuelle ou mixte, vous pouvezcréer de nouveaux objets, les concevoir, créer des mises en page dans l'espace à partir d'un dessin 2D. Tout cela peut être fait avec des lunettes Microsoft HoloLens ou des appareils dotés d'une technologie similaire.
Différences entre AR, MR et VR
XR est l'abréviation de réalité étendue. Elle est divisée en trois catégories : réalité virtuelle, réalité mixte et réalité augmentée.
En réalité mixte, les objets holographiques etle monde réel interagissent les uns avec les autres, il y a un mélange d'objets virtuels et réels. En réalité virtuelle, l'utilisateur est uniquement dans le monde virtuel. En réalité augmentée, on voit des objets virtuels, des hologrammes, mais on ne sent pas leur profondeur. En réalité mixte, l'utilisateur voit et ressent la profondeur, c'est-à-dire lorsque l'hologramme semble réel.
Au plus proche du monde réel - augmentéréalité, comme l'application Pokemon Go autrefois populaire. Si nous parlons de réalité virtuelle, cette année, le jeu Half-Life: Alyx est sorti, lorsqu'une personne est immergée dans un monde virtuel et interagit avec des personnages. Il n'y a pas encore de jeux populaires en réalité mixte - pour vous immerger dans la réalité mixte, vous avez besoin d'un appareil spécial, par exemple, Microsoft HoloLens.
Microsoft Hololens
Ceci est un ordinateur portable entier:il a des modules classiques - une batterie, des processeurs et des modules spéciaux, tels que des optiques, des capteurs pour construire l'espace environnant, analyser les gestes et le comportement de l'utilisateur.
Ce processus nécessite une optique spéciale, nousnous ne pouvons pas simplement mettre deux écrans identiques sur chaque œil. Après tout, si l'utilisateur reçoit la même image, il semblera que l'objet est à l'infini en raison de la vision stéréo. Microsoft HoloLens devrait en tenir compte et ajuster l'image spécifiquement à la position des lunettes, et même HoloLens dispose désormais de capteurs spéciaux qui détectent la position de la pupille et ajustent les hologrammes, selon l'endroit où nous regardons.
Des caméras dans des lunettes sont nécessaires pour évaluerle monde environnant afin que l'hologramme puisse être placé en profondeur, derrière l'objet réel. Pour cela, des capteurs spéciaux sont utilisés - ce sont des caméras de profondeur qui analysent l'espace qui nous entoure et analysent sa profondeur.
Analyse spatiale
Il y a aussi une caméra dédiéeanalyse les gestes de l'utilisateur - les lunettes Microsoft HoloLens modernes peuvent détecter les mains. Cela signifie que vous pouvez interagir avec les hologrammes - les prendre, les déplacer.
Analyse spatiale
La fonction principale des caméras est l'analyse de l'espaceautour de. L'utilisateur doit comprendre où se trouvent le mur, la table, les objets dans la pièce. Ils les évaluent en construisant une grille d'espace. C'est la géométrie autour de laquelle vous pouvez placer l'hologramme derrière le mur. Nous pouvons cacher un objet virtuel derrière un mur réel, ce qui donne une impression de profondeur et la présence réelle des hologrammes.
Les lunettes détectent les gestes, mais à quoi ça sert ?Pour interagir avec les hologrammes - les utilisateurs doivent pouvoir cliquer dessus, les faire pivoter, les déplacer, les utilisateurs doivent disposer d'un clavier virtuel qui saisit du texte. Bien que maintenant ce soit très gênant - il s'avère qu'il n'appuie qu'une seule touche par seconde.
Les utilisateurs doivent donc réapprendreinteragir avec le monde et l'interface. Personne n'a eu un appareil comme celui-ci auparavant, les développeurs doivent donc garder à l'esprit qu'ils doivent être intuitifs, similaires aux interactions du monde réel. Tout devrait se passer exactement de la même manière que d'habitude : l'utilisateur doit pouvoir prendre une tasse de la même manière que dans la vie normale. Et cela laisse même de la place à l’imagination pour créer de nouvelles mécaniques comportementales.
Où vous pouvez appliquer la réalité mixte dans la vraie vie
L'objectif des lunettes modernes est l'industrie.Pourquoi pas un utilisateur régulier ? Parce que ces appareils coûtent cher - environ 3,5 mille dollars. Seule une production en situation critique peut justifier le coût d'un tel appareil.
La première solution qui peut être mise en œuvre parlunettes est un assistant virtuel, son idée est qu'en production certaines opérations ont des instructions de 100 à 150 étapes d'assemblage et une documentation technique, que vous devez comprendre en profondeur. Et l'idée de telles lunettes est de numériser cette instruction et d'afficher toutes ces étapes sous forme d'hologrammes.
Nous avons développé un prototype d'une telle solution pourune exposition de gaz à Saint-Pétersbourg, où une instruction pour un camion-citerne de gaz naturel liquéfié a été mise en œuvre dans l'application. L'employé sous forme d'hologrammes, de texte et d'audio entend et voit ce qu'il doit faire. De plus, c'est aussi une bonne plate-forme pour apprendre non seulement pendant le processus technique, et une telle solution peut être réalisée sur des lunettes Microsoft HoloLens.
Une autre option est un assistant à distance lorsquenous connectons le travailleur portant des lunettes et l'expert à distance. L'expert à travers l'interface 2D voit ce que le travailleur observe à travers la caméra et peut lui dire quelque chose à travers l'audio et la vidéo, lui dessiner des indices dans l'espace. Il est attaché dans l'espace réel, et si un expert encercle, par exemple, une grue et dit qu'elle doit être tournée, l'employé peut être distrait, mais l'indice ne disparaîtra nulle part.
Cela inclut également les moteurs de jeu - Unity Engine et Unreal Engine, qui sont utilisés pour développer des jeux ou des applications de réalité virtuelle augmentée.
Interactions avec le robot
Un robot est un appareil commandé parplusieurs degrés de liberté. Par exemple, il peut avoir deux moteurs qui peuvent être déplacés et coordonnés à l'aide de programmes. Il existe de nombreux dispositifs de ce type dans le laboratoire de l'Université d'Innopolis - un drone qui ne se casse pas lorsqu'il tombe, un robot humanoïde et marcheur semblable à une personne. Il existe des manipulateurs techniques, ils peuvent être utilisés en production. Chacun de ces appareils peut être interagi avec.
Qu'est-ce qu'un robot ?
Comment puis je faire ça?Le premier exemple est la réalité virtuelle, un simulateur VR pour manipulateurs industriels. Sur celui-ci, vous pouvez apprendre à travailler avec un robot, comprendre le fonctionnement de l'appareil, vous pouvez le programmer pour effectuer une action et le tester dans une simulation.
La prochaine solution à l'intersection des technologies VR etLa robotique est un simulateur de processus physique. Par exemple, un simulateur de vol divertissant dans un vaisseau spatial, où des robots simulent un vol, et des lunettes VR fournissent une solution et une image qui correspondent à une certaine étape du vol. Ainsi, le processus devient immersif et plus réaliste.
La réalité virtuelle est utilisée pourtéléopérations - lorsqu'il y a une production dangereuse, un environnement dangereux dans lequel il est difficile pour une personne de se trouver. Des appareils peuvent y fonctionner, ils réduisent le danger pour l'homme. Mais ils doivent être contrôlés, le robot ne peut effectuer que des opérations de routine, et si nous parlons de catastrophes ou d'un environnement dangereux, alors dans ce cas, nous avons besoin de l'intelligence humaine. Par conséquent, des interfaces de télécontrôle sont nécessaires - la réalité virtuelle sera l'une des options pour cela.
Les robots peuvent aider lors d'opérations dangereuses
Application de la réalité augmentée et mixtePrincipalement représenté dans la programmation des robots. L'utilisateur peut voir à travers l'appareil l'état du robot, ce qu'il s'apprête à faire. La réalité augmentée et mixte se concentre sur de telles solutions. Lorsque le robot est installé et doit être configuré pour une tâche, une télécommande spéciale est utilisée à cet effet, dans laquelle l'appareil peut être déplacé vers une position spécifique, mémorisé et déplacé davantage.
Mais lorsque le programme est complètement créé, il est difficileimaginez si un incident imprévu se produira. Pour cela, des interfaces spéciales sont créées. Cela est nécessaire à la fois pour la sécurité et pour une interaction plus efficace.
XR et réalité mixte aident à cela.Là, vous pouvez configurer l'espace virtuel, l'ajuster pour une expérience spécifique ou changer le robot. Les ingénieurs disposent d'options de configuration illimitées, ce qui réduit les risques de sécurité.
Plus précisément, notre solution utilise plusieursobjets virtuels. Il dispose d'un menu pour interagir avec le système, d'un point cible qui décrit la position où l'on souhaite que le robot vienne. Ensuite, il devrait y avoir des modèles virtuels du robot et de ses dispositifs – pince ou outil.
Après avoir configuré nos points, nous pouvons exécutersimulation de mouvement pour vérifier comment la trajectoire sera exécutée. Sans cela, un robot ou un équipement peut être endommagé, et quand on voit une simulation virtuelle, c'est sûr et visuel pour une personne.
Et après avoir compris avec certitude que le programme est correct et en être sûr, nous pouvons commencer le travail du vrai robot et exécuter le programme dont nous avons besoin.
Comment communiquer avec un robot
Ci-dessous, vous pouvez voir comment l'interaction se produitgrâce à notre application. Ces clichés ont été pris en laboratoire et en salle d'expérimentation. Nous interagissons avec deux types de robots : l'appareil mobile Platoon et le robot industriel Kuka IIWA.
Les utilisateurs portent des lunettes Microsoft Hololens,ils analysent d'abord l'espace puis, à l'aide de gestes, l'utilisateur commence à interagir avec les robots, détermine leur position, définit les coordonnées et se baisse pour que les appareils commencent à se déplacer.
Les robots naviguent dans l'espace à l'aide de coordonnées
Pour un robot mobile, il suffit de mettre un pointau sol, il s'agit d'une coordonnée 2D, et pour le manipulateur, vous devez définir une coordonnée 3D. Chaque manipulateur a ses propres exigences et, après avoir réussi le programme, les appareils peuvent être simulés. Et en même temps, vous pouvez immédiatement voir clairement les trajectoires, ce que le robot va faire - cela ne peut pas être fait via une tablette ou une interface d'éditeur de texte ordinaire. La signification d'un tel système est qu'à travers une interface, vous pouvez interagir avec différents types de robots.
Ce sont ces technologies multiplateformes qui peuventêtre intéressant pour les personnes qui sont encore à la recherche de ce qui les intéresse. Dans le cas de l'intersection de XR et de la robotique, on peut noter des technologies telles que la vision par ordinateur - les lunettes et le robot ont des caméras spéciales pour analyser l'espace. Il existe également des algorithmes SLAM pour construire une carte, des contrôleurs, un système de suivi pour le positionnement des appareils.
Lire la suite
Comparez comment l'éclipse lunaire a été filmée par la NASA et Roscosmos
La « cinquième force » crée des « murs » invisibles dans l'univers. L'essentiel sur la nouvelle théorie des physiciens
Publication de la carte de l'infection à monkeypox