A terceira onda de dispositivos
As tecnologias XR e os óculos que estão surgindo no mundo são a terceira onda de produtos pessoais
Nosso mundo nele é completamente enriquecido com hologramas,através do qual visualizamos eventos e informações. Esses recursos podem ser usados para fins de projeto, como quando você precisa visualizar um modelo 3D no mundo espacial. Através deste sistema, você pode se comunicar com as pessoas, ver seu holograma, ouvi-las, transmitir sentimentos e emoções a elas.
Através da realidade virtual ou mista, você podecriar novos objetos, projetá-los, criar layouts no espaço com base em um desenho 2D. Tudo isso pode ser feito com óculos Microsoft HoloLens ou dispositivos com tecnologia semelhante.
Diferenças entre AR, MR e VR
XR é uma abreviatura de realidade estendida. Está dividido em três categorias: realidade virtual, realidade mista e realidade aumentada.
Na realidade mista, objetos holográficos eo mundo real interagem entre si, há uma mistura de objetos virtuais e reais. Na realidade virtual, o usuário está apenas no mundo virtual. Na realidade aumentada, vemos objetos virtuais, hologramas, mas não sentimos sua profundidade. Na realidade mista, o usuário vê e sente a profundidade, que é quando o holograma parece real.
Mais próximo do mundo real - aumentadorealidade, como o outrora popular aplicativo Pokemon Go. Se falamos de realidade virtual, este ano foi lançado o jogo Half-Life: Alyx, quando uma pessoa está imersa em um mundo virtual e interage com personagens lá. Ainda não existem jogos populares em realidade mista - para mergulhar na realidade mista, você precisa de um dispositivo especial, por exemplo, o Microsoft HoloLens.
Microsoft Hololens
Este é um laptop inteiro:possui módulos clássicos - uma bateria, processadores e módulos especiais, como óticas, sensores para construção do espaço circundante, análise de gestos e comportamento do usuário.
Este processo requer ótica especial, nósnão podemos simplesmente colocar duas telas idênticas em cada olho. Afinal, se o usuário receber a mesma imagem, parecerá que o objeto está no infinito devido à visão estéreo. O Microsoft HoloLens deve levar isso em consideração e ajustar a imagem especificamente para a posição dos óculos, e até o HoloLens agora possui sensores especiais que detectam a posição da pupila e ajustam os hologramas, dependendo de onde olhamos.
Câmeras em óculos são necessárias para avaliaro mundo circundante para que o holograma possa ser colocado em profundidade, atrás do objeto real. Para isso, são usados sensores especiais - são câmeras de profundidade que analisam o espaço ao nosso redor e analisam sua profundidade.
Análise Espacial
Há também uma câmera dedicadaanalisa os gestos do usuário - os óculos modernos do Microsoft HoloLens podem detectar as mãos. Isso significa que você pode interagir com hologramas - pegue-os, mova-os.
Análise Espacial
A principal função das câmeras é a análise do espaçopor aí. O usuário deve entender onde estão a parede, a mesa, os objetos da sala. Eles os avaliam construindo uma grade de espaço. Esta é a geometria em torno de onde você pode colocar o holograma atrás da parede. Podemos esconder um objeto virtual atrás de uma parede real, e isso alcança uma sensação de profundidade e a presença real de hologramas.
Os óculos detectam gestos, mas para que serve?Para interagir com hologramas - os usuários devem poder clicar neles, girar, mover, os usuários devem ter um teclado virtual que insira texto. Embora agora seja muito inconveniente - acaba pressionando apenas uma tecla por segundo.
Portanto, os usuários precisam aprender novamenteinteragir com o mundo e interface. Ninguém teve um dispositivo como este antes, então os desenvolvedores precisam ter em mente que eles precisam ser intuitivos, semelhantes às interações do mundo real. Tudo deve acontecer exatamente como normalmente acontece – o usuário deve ser capaz de pegar uma caneca da mesma forma que na vida cotidiana. E isso é ainda espaço para a imaginação criar novas mecânicas comportamentais.
Onde você pode aplicar a realidade mista na vida real
O foco dos óculos modernos é a indústria.Por que não um usuário comum? Porque esses dispositivos são caros - cerca de 3,5 mil dólares. Somente a produção em situações críticas pode justificar o custo de tal dispositivo.
A primeira solução que pode ser implementada atravésóculos é um assistente virtual, sua ideia é que na produção algumas operações tenham instruções de 100-150 etapas de montagem e documentação técnica, que você precisa entender profundamente. E a ideia desses óculos é digitalizar essa instrução e exibir todas essas etapas na forma de hologramas.
Desenvolvemos um protótipo dessa solução parauma exposição de gás em São Petersburgo, onde uma instrução para um navio-tanque de gás natural liquefeito foi implementada no aplicativo. O funcionário na forma de hologramas, texto e áudio ouve e vê o que precisa fazer. Além disso, também é uma boa plataforma para aprender não apenas durante o processo técnico, e essa solução pode ser feita nos óculos Microsoft HoloLens.
Outra opção é um assistente remoto quandoconectamos o trabalhador de óculos e o especialista remoto. O especialista através da interface 2D vê o que o trabalhador observa através da câmera e pode lhe dizer algo através de áudio e vídeo, desenhar-lhe dicas no espaço. Ele é fixado no espaço real e, se um especialista circulou, por exemplo, um guindaste e disse que ele precisa ser girado, o funcionário pode se distrair, mas a dica não desaparecerá em nenhum lugar.
Isso também inclui mecanismos de jogo - Unity Engine e Unreal Engine, que são usados para desenvolver jogos ou aplicativos de realidade virtual aumentada.
Interações com o robô
Um robô é um dispositivo controlado porvários graus de liberdade. Por exemplo, pode ter dois motores que podem ser movidos e coordenados usando programas. No laboratório da Universidade de Innopolis existem muitos desses dispositivos - um drone que não quebra quando cai, um robô humanoide e ambulante que se parece com uma pessoa. Existem manipuladores técnicos, eles podem ser usados na produção. Cada um desses dispositivos pode interagir.
O que é um robô?
Como eu posso fazer isso?O primeiro exemplo é a realidade virtual, um simulador de RV para manipuladores industriais. Nele, você pode aprender a trabalhar com um robô, entender como o dispositivo funciona, pode programá-lo para realizar alguma ação e testá-lo em uma simulação.
A próxima solução na interseção de tecnologias de RV eRobotics é um simulador de processo físico. Por exemplo, um divertido simulador de voo em uma espaçonave, onde robôs simulam um voo e óculos VR fornecem uma solução e uma imagem que corresponde a uma determinada etapa do voo. Assim, o processo se torna imersivo e mais realista.
A realidade virtual é usada parateleoperações - quando há uma produção perigosa, um ambiente inseguro no qual é difícil para uma pessoa estar. Os dispositivos podem funcionar lá, eles reduzem o perigo para os seres humanos. Mas eles precisam ser controlados, o robô só pode realizar operações de rotina e, se estamos falando de desastres ou de um ambiente inseguro, nesse caso precisamos de inteligência humana. Portanto, interfaces de telecontrole são necessárias - VR será uma das opções para isso.
Robôs podem ajudar durante operações perigosas
Aplicação de realidade aumentada e mistamais representado na programação de robôs. O usuário pode ver através do dispositivo o estado do robô, o que ele está prestes a fazer. A realidade aumentada e mista concentra-se em tais soluções. Quando o robô está instalado e precisa ser configurado para alguma tarefa, para isso é utilizado um controle remoto especial, no qual o dispositivo pode ser movido para uma posição específica, memorizado e movido posteriormente.
Mas quando o programa está completamente criado, é difícilimagine se algum imprevisto ocorrer. Para isso, são criadas interfaces especiais. Isso é necessário tanto para a segurança quanto para uma interação mais eficiente.
XR e realidade mista ajudam nisso.Lá você pode configurar o espaço virtual, ajustá-lo para um experimento específico ou alterar o robô. Os engenheiros têm opções ilimitadas de configuração e isso reduz os riscos de segurança.
Especificamente, nossa solução usa váriosobjetos virtuais. Possui um menu para interagir com o sistema, um ponto alvo que descreve a posição onde queremos que o robô chegue. Em seguida, deverão existir modelos virtuais do robô e seus dispositivos – pinça ou ferramenta.
Depois de configurar nossos pontos, podemos executarsimulação de movimento para verificar como a trajetória será executada. Sem ele, um robô ou equipamento pode ser danificado, e quando vemos uma simulação virtual, é seguro e visual para uma pessoa.
E depois de entendermos com certeza que o programa está correto e temos certeza disso, podemos iniciar o trabalho do robô real e executar o programa que precisamos.
Como se comunicar com um robô
Abaixo você confere como ocorre a interaçãoatravés do nosso aplicativo. Essas fotos foram tiradas no laboratório e na sala experimental. Interagimos com dois tipos de robôs: o dispositivo móvel Platoon e o robô industrial Kuka IIWA.
Os usuários usam óculos Microsoft Hololens,primeiro eles analisam o espaço e depois, com a ajuda de gestos, o usuário começa a interagir com os robôs, determina sua posição, define coordenadas e se abaixa para que os dispositivos comecem a se mover.
Robôs navegam no espaço usando coordenadas
Para um robô móvel, basta colocar um pontono chão, esta é uma coordenada 2D e, para o manipulador, você precisa definir uma coordenada 3D. Cada manipulador possui seus próprios requisitos e, após passar no programa, os dispositivos podem ser simulados. E, ao mesmo tempo, você pode ver imediatamente as trajetórias, o que o robô fará - isso não pode ser feito por meio de um tablet ou uma interface de editor de texto comum. O significado de tal sistema é que através de uma interface você pode interagir com diferentes tipos de robôs.
São essas tecnologias multiplataforma que podemser interessante para as pessoas que ainda estão em busca do que lhes interessa. No caso da intersecção de XR e robótica, podem ser notadas tecnologias como visão computacional - tanto os óculos quanto o robô possuem câmeras especiais para analisar o espaço. Existem também algoritmos SLAM para construir um mapa, controladores, um sistema de rastreamento para posicionamento de dispositivos.
Consulte Mais informação
Compare como o eclipse lunar foi filmado pela NASA e Roscosmos
A “quinta força” cria “paredes” invisíveis no universo. A principal coisa sobre a nova teoria dos físicos
Publicado o mapa de infecção por Monkeypox