La tercera ola de dispositivos.
Las tecnologías y gafas XR que están apareciendo en el mundo son la tercera ola de personal
Nuestro mundo en él está completamente enriquecido con hologramas,a través del cual visualizamos eventos e información. Estas capacidades se pueden utilizar con fines de diseño, como cuando necesita ver un modelo 3D en el mundo espacial. A través de este sistema, puede comunicarse con las personas, ver su holograma, escucharlas, transmitirles sentimientos y emociones.
A través de la realidad virtual o mixta, puedescrear nuevos objetos, diseñarlos, crear diseños en el espacio basados en un dibujo 2D. Todo esto se puede hacer con gafas Microsoft HoloLens o dispositivos con tecnología similar.
Diferencias entre AR, MR y VR
XR es una abreviatura de realidad extendida. Se divide en tres categorías: realidad virtual, realidad mixta y realidad aumentada.
En la realidad mixta, los objetos holográficos yel mundo real interactúa entre sí, hay una mezcla de objetos virtuales y reales. En la realidad virtual, el usuario está solo en el mundo virtual. En la realidad aumentada, vemos objetos virtuales, hologramas, pero no sentimos su profundidad. En la realidad mixta, el usuario ve y siente profundidad, que es cuando el holograma se siente como si fuera real.
Más cercano al mundo real - aumentadorealidad, como la alguna vez popular aplicación Pokemon Go. Si hablamos de realidad virtual, este año se lanzó el juego Half-Life: Alyx, cuando una persona se sumerge en un mundo virtual e interactúa con los personajes allí. Todavía no hay juegos populares en realidad mixta: para sumergirse en la realidad mixta, necesita un dispositivo especial, por ejemplo, Microsoft HoloLens.
Hololens de Microsoft
Esta es una computadora portátil completa:tiene módulos clásicos: una batería, procesadores y módulos especiales, como óptica, sensores para construir el espacio circundante, analizar gestos y comportamiento del usuario.
Este proceso requiere una óptica especial, nosotrosno podemos simplemente poner dos pantallas idénticas en cada ojo. Después de todo, si al usuario se le da la misma imagen, parecerá que el objeto está en el infinito debido a la visión estéreo. Microsoft HoloLens debería tener esto en cuenta y ajustar la imagen específicamente a la posición de las gafas, e incluso HoloLens ahora tiene sensores especiales que detectan la posición de la pupila y ajustan los hologramas, dependiendo de dónde miremos.
Se necesitan cámaras con gafas para evaluarel mundo circundante para que el holograma se pueda colocar en profundidad, detrás del objeto real. Para esto, se utilizan sensores especiales: estas son cámaras de profundidad que analizan el espacio que nos rodea y analizan su profundidad.
Análisis espacial
También hay una cámara dedicada.analiza los gestos del usuario: las modernas gafas Microsoft HoloLens pueden detectar las manos. Esto significa que puede interactuar con hologramas: tómelos, muévalos.
Análisis espacial
La principal función de las cámaras es el análisis del espacio.alrededor. El usuario debe comprender dónde están la pared, la mesa y los objetos en la habitación. Los evalúan construyendo una cuadrícula de espacio. Esta es la geometría alrededor de donde puede colocar el holograma detrás de la pared. Podemos esconder un objeto virtual detrás de una pared real, y esto logra una sensación de profundidad y la presencia real de hologramas.
Las gafas detectan gestos, pero ¿para qué sirve?Para interactuar con hologramas, los usuarios deben poder hacer clic en ellos, rotarlos, moverlos, los usuarios deben tener un teclado virtual que ingrese texto. Aunque ahora es muy inconveniente: resulta presionar solo una tecla por segundo.
Por lo tanto, los usuarios necesitan aprender de nuevo.interactuar con el mundo y la interfaz. Nadie ha tenido un dispositivo como este antes, por lo que los desarrolladores deben tener en cuenta que deben ser intuitivos, similares a las interacciones del mundo real. Todo debería suceder exactamente igual que normalmente: el usuario debería poder coger una taza como en la vida normal. Y aquí incluso hay espacio para que la imaginación cree nuevas mecánicas de comportamiento.
Donde puedes aplicar la realidad mixta en la vida real
El foco de las gafas modernas es la industria.¿Por qué no un usuario habitual? Porque tales dispositivos son caros: alrededor de 3,5 mil dólares. Solo la producción en situaciones críticas puede justificar el costo de un dispositivo de este tipo.
La primera solución que se puede implementar a través deglasses es un asistente virtual, su idea es que en producción algunas operaciones tengan instrucciones de 100-150 pasos de montaje y documentación técnica, que necesitas entender profundamente. Y la idea de este tipo de gafas es digitalizar esta instrucción y mostrar todos estos pasos en forma de hologramas.
Hemos desarrollado un prototipo de tal solución parauna exhibición de gas en San Petersburgo, donde se implementó en la aplicación una instrucción para un camión cisterna de gas natural licuado. El empleado en forma de hologramas, texto y audio escucha y ve lo que debe hacer. Además, también es una buena plataforma para aprender no solo durante el proceso técnico, y dicha solución se puede realizar en las gafas Microsoft HoloLens.
Otra opción es un asistente remoto cuandoconectamos al trabajador con gafas y al experto remoto. El experto a través de la interfaz 2D ve lo que el trabajador observa a través de la cámara y puede decirle algo a través de audio y video, dibujarle pistas en el espacio. Se adjunta en el espacio real, y si un experto rodeó, por ejemplo, una grúa y dijo que debe girarse, el empleado puede distraerse, pero la pista no desaparecerá en ninguna parte.
Esto también incluye motores de juegos: Unity Engine y Unreal Engine, que se utilizan para desarrollar juegos o aplicaciones de realidad virtual aumentada.
Interacciones con el robot
Un robot es un dispositivo controlado porvarios grados de libertad. Por ejemplo, puede tener dos motores que se pueden mover y coordinar mediante programas. En el laboratorio de la Universidad de Innopolis hay muchos dispositivos de este tipo: un dron que no se rompe cuando cae, un robot humanoide y andante que parece una persona. Hay manipuladores técnicos, se pueden utilizar en la producción. Se puede interactuar con cada uno de estos dispositivos.
¿Qué es un robot?
¿Cómo puedo hacer eso?El primer ejemplo es la realidad virtual, un simulador de realidad virtual para manipuladores industriales. En él, puede aprender a trabajar con un robot, comprender cómo funciona el dispositivo, puede programarlo para realizar alguna acción y probarlo en una simulación.
La próxima solución en la intersección de las tecnologías VR yLa robótica es un simulador de procesos físicos. Por ejemplo, un simulador de vuelo entretenido en una nave espacial, donde los robots simulan un vuelo y las gafas VR brindan una solución y una imagen que corresponde a una determinada etapa del vuelo. Entonces el proceso se vuelve inmersivo y más realista.
La realidad virtual se utiliza parateleoperaciones: cuando hay una producción peligrosa, un entorno inseguro en el que es difícil para una persona estar. Los dispositivos pueden funcionar allí, reducen el peligro para los humanos. Pero necesitan ser controlados, el robot solo puede realizar operaciones de rutina, y si estamos hablando de desastres o un entorno inseguro, entonces en este caso necesitamos inteligencia humana. Por lo tanto, se necesitan interfaces de telecontrol: la realidad virtual será una de las opciones para esto.
Los robots pueden ayudar durante operaciones peligrosas
Aplicación de realidad aumentada y mixtamás representado en la programación de robots. El usuario puede ver a través del dispositivo el estado del robot, lo que está a punto de hacer. La realidad aumentada y mixta se centra en este tipo de soluciones. Cuando el robot está instalado y es necesario configurarlo para alguna tarea, se utiliza para ello un control remoto especial, en el que el dispositivo se puede mover a una posición específica, memorizar y mover más lejos.
Pero cuando el programa está completamente creado, es difícilimagínense si se producirá algún imprevisto. Para esto, se crean interfaces especiales. Esto es necesario tanto para la seguridad como para una interacción más eficiente.
XR y la realidad mixta ayudan con esto.Allí puede configurar el espacio virtual, ajustarlo para un experimento específico o cambiar el robot. Los ingenieros tienen opciones ilimitadas de configuración y esto reduce los riesgos de seguridad.
Específicamente, nuestra solución utiliza variosobjetos virtuales. Tiene un menú para interactuar con el sistema, un punto objetivo que describe la posición donde queremos que venga el robot. A continuación deberían aparecer modelos virtuales del robot y sus dispositivos: pinza o herramienta.
Después de configurar nuestros puntos, podemos ejecutarsimulación de movimiento para comprobar cómo se ejecutará la trayectoria. Sin ella, un robot o equipo puede dañarse, y cuando vemos una simulación virtual, es segura y visual para una persona.
Y después de que entendamos con certeza que el programa es correcto y estemos seguros de ello, podemos comenzar el trabajo del robot real y ejecutar el programa que necesitamos.
Cómo comunicarse con un robot
A continuación puedes ver cómo se produce la interacción.a través de nuestra aplicación. Estas fotografías fueron tomadas en el laboratorio y la sala de experimentos. Interactuamos con dos tipos de robot: el dispositivo móvil Platoon y el robot industrial Kuka IIWA.
Los usuarios usan gafas Microsoft Hololens,primero analizan el espacio y luego, con la ayuda de gestos, el usuario comienza a interactuar con los robots, determina su posición, establece coordenadas y se agacha para que los dispositivos comiencen a moverse.
Los robots navegan en el espacio usando coordenadas
Para un robot móvil, basta con poner un puntoen el piso, esta es una coordenada 2D, y para el manipulador, debe establecer una coordenada 3D. Cada manipulador tiene sus propios requisitos y, después de pasar el programa, se pueden simular los dispositivos. Y al mismo tiempo, puede ver claramente las trayectorias de inmediato, lo que hará el robot; esto no se puede hacer a través de una tableta o una interfaz de editor de texto normal. El significado de dicho sistema es que a través de una interfaz puede interactuar con diferentes tipos de robots.
Son estas tecnologías multiplataforma las que puedenser interesante para las personas que todavía están en busca de lo que les interesa. En el caso de la intersección de XR y robótica, se pueden notar tecnologías como la visión por computadora: tanto las gafas como el robot tienen cámaras especiales para analizar el espacio. También hay algoritmos SLAM para construir un mapa, controladores, un sistema de seguimiento para el posicionamiento de dispositivos.
Lee mas
Compara cómo la NASA y Roscosmos filmaron el eclipse lunar
La “quinta fuerza” crea “muros” invisibles en el universo. Lo principal de la nueva teoría de los físicos.
Publicación del mapa de infección de la viruela del mono