Новий найкращий друг: як VR та XR допомагають нам спілкуватися з роботами

Третя хвиля пристроїв

XR-технології та окуляри, які з'являються у світі, - це третя хвиля персональних

пристроїв.Спочатку були комп'ютери, потім з'явилися мобільні телефони, зараз розумні окуляри. Через них ми можемо виходити в інтернет, спілкуватися з людьми та навіть взаємодіяти з роботами. Ось так виглядає світ, коли ми взаємодіємо із ним через окуляри.

Наш світ у ньому повністю збагачується голограмами,через які ми візуалізуємо події та інформацію. Ці можливості можна використовувати для проектування, наприклад, коли потрібно переглянути 3D-модель у просторовому світі. Через цю систему можна спілкуватися з людьми, бачити їхню голограму, чути їх, передавати їм відчуття та емоції.

Через віртуальну чи змішану реальність можнастворювати нові об'єкти, проектувати їх, створювати макети у просторі на основі 2D-малюнку. Все це дозволяють робити окуляри Microsoft HoloLens або пристрої зі схожою технологією.

Відмінності AR, MR та VR

XR – це абревіатура від extended realitу, розширена реальність. Вона поділяється на три категорії: віртуальна реальність, змішана реальність та доповнена реальність.

У змішаній реальності голографічні об'єкти тареальний світ взаємодіють друг з одним, відбувається змішання віртуальних та реальних об'єктів. У віртуальній реальності користувач перебуває лише у віртуальному світі. У доповненій реальності ми бачимо віртуальні об'єкти, голограми, але не відчуваємо їхньої глибини. У змішаній реальності користувач бачить і відчуває глибину - це коли голограма відчувається так, наче вона справжня.

Найближче до реального світу — доповненареальність, як, наприклад, колись популярний додаток Pokemon Go. Якщо говорити про віртуальну реальність, то цього року вийшла гра Half-Life: Alyx, коли людина занурюється у віртуальний світ та взаємодіє там із персонажами. У змішаній реальності популярних ігор поки немає - щоб поринути у змішану реальність, потрібен спеціальний пристрій, наприклад Microsoft HoloLens.

Microsoft Hololens

Це цілий портативний комп'ютер:на ньому є класичні модулі - батарея, процесори та спеціальні модулі, такі як оптика, сенсори для побудови навколишнього простору, аналізу жестів та поведінки користувача.

Для цього процесу потрібна спеціальна оптика, мине можемо просто поставити два однакові дисплеї на кожне око. Адже якщо користувачеві видавати одну й ту саму картинку, тоді здаватиметься, що об'єкт знаходиться в нескінченності через стереогляд. Microsoft HoloLens повинні враховувати це і підлаштовувати зображення безпосередньо під положення очок, і ось навіть що HoloLens зараз мають спеціальні сенсори, які детектують положення зіниці і підлаштовують голограми, залежно від того, куди ми дивимося.

Камери в окулярах потрібні для того, щоб оцінюватинавколишній світ, щоб голограму можна було розмістити у глибині, за реальним об'єктом. Для цього і використовують спеціальні сенсори – це глибинні камери, які аналізують простір навколо нас та аналізують його глибину.

Аналіз простору

Також є спеціальна камера, якааналізує жести користувача – сучасні окуляри Microsoft HoloLens можуть детектувати кисті рук. Це означає, що можна взаємодіяти з голограмами – брати, рухати їх.

Аналіз простору

Головна функція камер – це аналіз просторудовкола. Користувач повинен зрозуміти, де є стіна, стіл, об'єкти в кімнаті. Вони оцінюють їх, будуючи сітку простору. Це геометрія довкола, де можна поставити голограму за стіною. Ми можемо сховати віртуальний об'єкт за реальною стіною, і завдяки цьому досягається відчуття глибини і реальної присутності голограм.

Окуляри детектують жести, але для чого це потрібно?Для взаємодії з голограмами користувачі повинні мати можливість натискати на них, обертати, переміщати, у користувачів має бути віртуальна клавіатура, якою вводиться текст. Хоча зараз це дуже незручно – виходить натискати лише одну клавішу за секунду.

Тому користувачам треба вчитися занововзаємодіяти зі світом та інтерфейсом. Ніхто раніше не мав таких пристроїв, тому розробникам треба враховувати, що вони мають бути зрозумілими, схожими на взаємодії у реальному світі. Все має відбуватися так само, як це відбувається зазвичай - користувач повинен вміти взяти кухоль так само, як у звичайному житті. І це простір навіть для фантазії, щоб створювати нові поведінкові механіки.

Де можна застосовувати змішану реальність у реальному житті

Фокус сучасних окулярів – це промисловість.Чому не звичайний користувач? Тому що такі пристрої коштують дорого – близько 3,5 тисячі доларів. Тільки виробництво критичних ситуаціях може виправдати вартість такого пристрою.

Перше рішення, яке можна реалізувати черезокуляри - це віртуальний асистент, його ідея в тому, що на виробництві деякі операції мають інструкцію зі 100-150 кроків зі складання та технічної документації, в якій потрібно глибоко розбиратися. А ідея таких окулярів – оцифрувати цю інструкцію та виводити всі ці кроки у вигляді голограм.

Ми розробляли прототип такого рішення длягазової виставки в Санкт-Петербурзі, де у додатку реалізували інструкцію для заправника зрідженого газу. Працівник у вигляді голограм, тексту та аудіо чує та бачить те, що йому потрібно робити. Причому це ще й хороша платформа для навчання не тільки в ході технічного процесу, і ось таке рішення і можна робити на окулярах Microsoft HoloLens.

Ще один варіант - це віддалений асистент, колими пов'язуємо працівника, на якому одягнені окуляри, та віддаленого експерта. Експерт через 2D-інтерфейс бачить те, що спостерігає працівник через камеру та може підказувати йому щось через аудіо та відео, малювати йому підказки у просторі. Вона кріпиться в реальному просторі, і якщо експерт обвів, наприклад, кран і сказав, що його треба повернути, працівник може відволіктися, але підказка нікуди не зникне.

Сюди ж входять і ігрові движки - Unity Engine і Unreal Engine, які застосовуються для розробки ігор або програм доповненої віртуальної дійсності.

Взаємодія з роботом

Робот - пристрій, який контролюється закільком ступеням свободи. Наприклад, у нього може бути два мотори, які можна рухати та координувати за допомогою програм. У лабораторії Університету Іннополіс є безліч таких пристроїв — дрон, який не ламається під час падіння, гуманоїдний і крокуючий робот, схожі на людину. Є технічні маніпулятори, їх можна використовувати у виробництві. З кожним із цих пристроїв можна взаємодіяти.

Що таке робот?

Як це можна зробити?Перший приклад – віртуальна реальність, VR-симулятор для промислових маніпуляторів. На ньому можна навчитися працювати з роботом, зрозуміти, як діє пристрій, у ньому можна запрограмувати його для виконання якоїсь дії та перевірити у симуляції.

Наступне рішення на стику VR-технологій таРобототехніки - симулятор фізичного процесу. Наприклад, розважальний симулятор польоту в космічному апараті, де робот симулюють політ, а VR-окуляри видають рішення та картинку, яка відповідає певній стадії польоту. Так процес стає з ефектом занурення та більш реалістичним.

Віртуальна реальність використовується длятелеоперацій — коли є небезпечне виробництво, небезпечне середовище, в якому людині складно перебувати. Там можуть працювати пристрої, які зменшують небезпеку для людини. Але ними треба керувати, робот може виконувати лише рутинні операції, а якщо ми говоримо про катастрофи чи небезпечне середовище, то в цьому випадку знадобиться інтелект людини. Тому потрібні для інтерфейси для телеуправління – VR буде одним із варіантів для цього.

Роботи можуть допомогти під час небезпечних операцій

Застосування доповненої та змішаної реальностінайбільше представлено у програмуванні роботів. Користувач може через пристрій бачити стан робота, що він збирається виконати. На таких рішеннях і фокусується доповнена та змішана реальність. Коли робота встановили і його потрібно налаштувати на якесь завдання, для цього використовується спеціальний пульт, в якому пристрій можна переміщувати на конкретну позицію, запам'ятовувати її та переміщати далі.

Але коли програма створена повністю – складноуявити, чи не станеться якогось непередбачуваного інциденту. Для цього створюються спеціальні інтерфейси. Це потрібно як для безпеки, так і для більш ефективної взаємодії.

XR та змішана реальність допомагають у цьому.Там можна конфігурувати віртуальний простір, підлаштовувати його під конкретний експеримент чи міняти робота. Інженери мають необмежені можливості для конфігурації, а це зменшення ризиків безпеки.

Саме в нашому рішенні використовують кількавіртуальних об'єктів. У ньому є меню, щоб взаємодіяти із системою, цільова точка, яка описує положення, куди ми хочемо, щоб прийшов робот. Далі мають бути віртуальні моделі роботів та його пристроїв – захоплення чи інструменту.

Після встановлення наших точок ми можемо запускатисимуляцію руху, щоб перевірити, як виконуватиметься траєкторія. Без неї може пошкодитися робот чи оснащення, а коли ми бачимо віртуальну симуляцію – це безпечно та наочно для людини.

І після того, як ми точно зрозуміли, що програма вірна і впевнені в цьому, ми можемо запустити роботу реального в робота і виконати потрібну нам програму.

Як спілкуватися з роботом

Нижче можна побачити, як взаємодія відбуваєтьсячерез нашу програму. Ці зйомки зроблено в лабораторії та експериментальному залі. Ми взаємодіємо з двома типами роботом: мобільним пристроєм Platoon та з індустріальним роботом Kuka IIWA.

Користувачі одягають окуляри Microsoft Hololens,спочатку вони аналізують простір і потім, за допомогою жестів, користувач починає взаємодіяти з роботами, визначає їх становище, встановлює координати та качки, щоб пристрої почали рухатися.

Роботи орієнтуються у просторі за допомогою координат

Для мобільного робота достатньо поставити крапкуна підлозі це 2D-координата, а для маніпулятора потрібно задати 3D-координату. Кожен маніпулятор має свої вимоги, і після здачі програми пристрою можна просимулювати. І при цьому можна відразу побачити траєкторії, те, що робот буде робити — це неможливо зробити через планшет або звичайний інтерфейс текстового редактора. Сенс такої системи в тому, що через один інтерфейс можна взаємодіяти з різними типами роботів.

Саме такі крос-платформні технології можутьбути цікавими людям, які поки що знаходяться в пошуку того, що їм цікаво. У разі перетину XR та робототехніки можна відзначити такі технології, як комп'ютерний зір — і на окулярах, і на роботі є спеціальні камери для аналізу простору. Також є алгоритми SLAM для побудови карти, контролери, система трекінгу для позиціонування пристрою.

Читати далі

Порівняйте, як зняли затемнення Місяця НАСА та Роскосмос

«П'ята сила» створює у Всесвіті невидимі «стіни». Головне про нову теорію фізиків

Опублікована карта заражень віспою мавп