Третата вълна от устройства
XR технологиите и очилата, които се появяват в света, са третата вълна на личните
Нашият свят в него е напълно обогатен с холограми,чрез които визуализираме събития и информация. Тези функции могат да се използват за целите на проектиране, като например когато искате да видите 3D модел в пространствения свят. Чрез тази система можете да общувате с хората, да виждате тяхната холограма, да ги чувате, да им предавате чувства и емоции.
Чрез виртуална или смесена реалност можетесъздавайте нови обекти, проектирайте ги, създавайте оформления в пространството въз основа на 2D чертеж. Всичко това може да се направи с очила Microsoft HoloLens или устройства с подобна технология.
Разлики между AR, MR и VR
XR е съкращение за разширена реалност. Той е разделен на три категории: виртуална реалност, смесена реалност и разширена реалност.
В смесена реалност холографски обекти иреалния свят взаимодействат един с друг, има смесица от виртуални и реални обекти. Във виртуалната реалност потребителят е само във виртуалния свят. В разширената реалност виждаме виртуални обекти, холограми, но не усещаме тяхната дълбочина. В смесена реалност потребителят вижда и усеща дълбочина, когато холограмата се чувства като реална.
Най-близо до реалния свят - увеличенореалност, като някога популярното приложение Pokemon Go. Ако говорим за виртуална реалност, тогава тази година беше пусната играта Half-Life: Alyx, когато човек е потопен във виртуален свят и взаимодейства с героите там. Все още няма популярни игри в смесена реалност - за да се потопите в смесена реалност, ви е необходимо специално устройство, например Microsoft HoloLens.
Microsoft Hololens
Това е цял лаптоп:има класически модули - батерия, процесори и специални модули, като оптика, сензори за изграждане на околното пространство, анализиране на жестове и поведение на потребителя.
Този процес изисква специална оптика, ниене можем просто да поставим два еднакви дисплея на всяко око. В крайна сметка, ако на потребителя се даде същата картина, тогава ще изглежда, че обектът е в безкрайност поради стерео зрение. Microsoft HoloLens трябва да вземе това предвид и да коригира изображението специално към позицията на очилата и дори HoloLens вече имат специални сензори, които засичат позицията на зеницата и коригират холограмите, в зависимост от това къде гледаме.
Необходими са камери в очила, за да се оцениоколния свят, така че холограмата да може да бъде поставена в дълбочина, зад реалния обект. За това се използват специални сензори - това са камери за дълбочина, които анализират пространството около нас и анализират неговата дълбочина.
Анализ на пространството
Има и специална камераанализира жестовете на потребителите - съвременните очила Microsoft HoloLens могат да разпознават ръцете. Това означава, че можете да взаимодействате с холограми - вземете ги, преместете ги.
Анализ на пространството
Основната функция на камерите е анализът на пространствотонаоколо. Потребителят трябва да разбере къде са стената, масата, предметите в стаята. Те ги оценяват, като изграждат мрежа от пространство. Това е геометрията около мястото, където можете да поставите холограмата зад стената. Можем да скрием виртуален обект зад реална стена и това постига усещане за дълбочина и реално присъствие на холограми.
Очилата разпознават жестове, но за какво са те?За да взаимодействат с холограми - потребителите трябва да могат да щракват върху тях, да въртят, да се движат, потребителите трябва да имат виртуална клавиатура, която въвежда текст. Въпреки че сега е много неудобно - оказва се, че натискате само един клавиш в секунда.
Следователно потребителите трябва да се научат отнововзаимодействат със света и интерфейса. Никой не е имал подобно устройство преди, така че разработчиците трябва да имат предвид, че трябва да бъдат интуитивни, подобни на взаимодействията в реалния свят. Всичко трябва да се случи точно както се случва обикновено - потребителят трябва да може да вземе чаша по същия начин, както в нормалния живот. И това дори е място за въображение за създаване на нова поведенческа механика.
Където можете да приложите смесената реалност в реалния живот
Фокусът на съвременните очила е индустрията.Защо не обикновен потребител? Тъй като такива устройства са скъпи - около 3,5 хиляди долара. Само производството в критични ситуации може да оправдае цената на такова устройство.
Първото решение, което може да се приложи чрезglasses е виртуален асистент, идеята му е, че в производството някои операции имат инструкции от 100-150 стъпки на сглобяване и техническа документация, която трябва да разберете дълбоко. И идеята на такива очила е да се дигитализира тази инструкция и да се покажат всички тези стъпки под формата на холограми.
Разработихме прототип на такова решение загазово изложение в Санкт Петербург, където в приложението беше внедрена инструкция за танкер за втечнен природен газ. Служителят под формата на холограми, текст и аудио чува и вижда какво трябва да направи. Освен това е и добра платформа за учене не само по време на техническия процес, а подобно решение може да се направи и на очила Microsoft HoloLens.
Друг вариант е дистанционен асистент, когатосвързваме работника, който носи очила, и отдалечения експерт. Експертът чрез 2D интерфейс вижда това, което работникът наблюдава през камерата и може да му каже нещо чрез аудио и видео, да му рисува намеци в пространството. Той е прикрепен в реално пространство и ако експерт заобиколи, например, кран и каже, че трябва да се обърне, служителят може да се разсее, но намекът няма да изчезне никъде.
Това включва и двигатели за игри – Unity Engine и Unreal Engine, които се използват за разработване на игри или приложения за разширена виртуална реалност.
Взаимодействия с робота
Роботът е устройство, което се управлява отняколко степени на свобода. Например, може да има два двигателя, които могат да бъдат премествани и координирани с помощта на програми. В лабораторията на университета Innopolis има много такива устройства – дрон, който не се чупи при падане, хуманоиден и ходещ робот, подобен на човек. Има технически манипулатори, те могат да се използват в производството. С всяко едно от тези устройства може да се взаимодейства.
Какво е робот?
Как мога да направя това?Първият пример е виртуалната реалност, VR симулатор за индустриални манипулатори. На него можете да научите как да работите с робот, да разберете как работи устройството, можете да го програмирате да извършва някакво действие и да го тествате в симулация.
Следващото решение на пресечната точка на VR технологиите иРоботиката е симулатор на физически процеси. Например забавен симулатор на полети в космически кораб, където роботите симулират полет, а VR очилата предоставят решение и картина, която съответства на определен етап от полета. Така процесът става потапящ и по-реалистичен.
Виртуалната реалност се използва зателеоперации – когато има опасно производство, опасна среда, в която човек трудно се намира. Там могат да работят устройства, намаляват опасността за хората. Но те трябва да бъдат контролирани, роботът може да извършва само рутинни операции и ако говорим за бедствия или опасна среда, тогава в този случай се нуждаем от човешки интелект. Следователно са необходими интерфейси за дистанционно управление - VR ще бъде една от опциите за това.
Роботите могат да помогнат по време на опасни операции
Приложение на добавена и смесена реалностнай-застъпени в програмирането на роботи. Потребителят може да види през устройството състоянието на робота, какво ще прави. Разширената и смесената реалност се фокусира върху такива решения. Когато роботът е инсталиран и трябва да бъде конфигуриран за някаква задача, за това се използва специално дистанционно управление, при което устройството може да бъде преместено на определена позиция, запаметено и преместено по-нататък.
Но когато програмата е напълно създадена, е труднопредставете си, ако се случи някакъв непредвиден инцидент. За това са създадени специални интерфейси. Това е необходимо както за сигурност, така и за по-ефективно взаимодействие.
XR и смесената реалност помагат за това.Там можете да конфигурирате виртуалното пространство, да го настроите за конкретен експеримент или да промените робота. Инженерите имат неограничени възможности за конфигурация и това намалява рисковете за сигурността.
По-конкретно, нашето решение използва няколковиртуални обекти. Има меню за взаимодействие със системата, целева точка, която описва позицията, където искаме да дойде роботът. След това трябва да има виртуални модели на робота и неговите устройства - захващане или инструмент.
След като настроим нашите точки, можем да бягамесимулация на движение, за да се провери как ще бъде изпълнена траекторията. Без него робот или оборудване могат да бъдат повредени, а когато видим виртуална симулация, това е безопасно и визуално за човек.
И след като разберем със сигурност, че програмата е правилна и сме сигурни в нея, можем да започнем работата на истинския робот и да изпълним програмата, от която се нуждаем.
Как да общуваме с робот
По-долу можете да видите как протича взаимодействиеточрез нашето приложение. Тези кадри са направени в лабораторията и експерименталната зала. Ние взаимодействаме с два типа роботи: мобилното устройство Platoon и индустриалният робот Kuka IIWA.
Потребителите носят очила Microsoft Hololens,първо анализират пространството и след това с помощта на жестове потребителят започва да взаимодейства с роботите, определя тяхната позиция, задава координати и патици, за да започнат да се движат устройствата.
Роботите се движат в пространството с помощта на координати
За мобилен робот е достатъчно да поставите точкана пода, това е 2D координата, а за манипулатора трябва да зададете 3D координата. Всеки манипулатор има свои собствени изисквания и след преминаване на програмата устройствата могат да бъдат симулирани. И в същото време можете веднага да видите ясно траекториите, какво ще направи роботът - това не може да се направи чрез таблет или обикновен интерфейс на текстов редактор. Смисълът на такава система е, че чрез един интерфейс можете да взаимодействате с различни видове роботи.
Именно тези кросплатформени технологии могатбъдете интересни за хората, които все още търсят това, което ги интересува. В случая на пресечната точка на XR и роботиката могат да се отбележат технологии като компютърното зрение - и очилата, и роботът имат специални камери за анализ на пространството. Има и SLAM алгоритми за изграждане на карта, контролери, система за проследяване за позициониране на устройството.
Прочетете още
Сравнете как лунното затъмнение е заснето от НАСА и Роскосмос
„Петата сила” създава невидими „стени” във Вселената. Основното нещо за новата теория на физиците
Публикувана карта на инфекция с маймунска шарка