新しい親友:VRとXRがロボットとのコミュニケーションにどのように役立つか

デバイスの第3の波

世の中に出回っているXR技術やメガネはパーソナルの第三の波

最初はコンピューターがあり、次に携帯電話があり、現在はスマートグラスです。それらを介して、インターネットにアクセスしたり、人と通信したり、ロボットと対話したりすることもできます。これは、私たちがメガネを通して世界と対話するときの世界の見え方です。

その中の私たちの世界はホログラムで完全に豊かになっています、イベントや情報を視覚化するために使用します。これらの機能は、空間の世界で3Dモデルを表示する場合など、設計目的で使用できます。このシステムを通して、あなたは人々とコミュニケーションをとり、彼らのホログラムを見て、彼らを聞き、彼らに感情や感情を伝えることができます。

仮想現実または複合現実を通じて、次のことができます新しいオブジェクトを作成し、それらを設計し、2D図面に基づいて空間にレイアウトを作成します。これはすべて、MicrosoftHoloLensメガネまたは同様のテクノロジを備えたデバイスを使用して実行できます。

AR、MR、VRの違い

XRとはExtended Realityの略で、仮想現実、複合現実、拡張現実の3つのカテゴリーに分類されます。 

複合現実では、ホログラフィックオブジェクトと現実の世界は互いに相互作用し、仮想オブジェクトと現実のオブジェクトが混在しています。バーチャルリアリティでは、ユーザーは仮想世界にのみ存在します。拡張現実では、仮想オブジェクトやホログラムが表示されますが、それらの奥行きは感じられません。複合現実では、ユーザーは奥行きを見て感じます。これは、ホログラムが本物のように感じられるときです。

現実世界に最も近い-拡張かつて人気のあったポケモンGOアプリのような現実。バーチャルリアリティについて言えば、今年はゲームHalf-Life:Alyxがリリースされました。これは、人が仮想世界に没頭し、そこでキャラクターと対話するときに行われます。複合現実で人気のあるゲームはまだありません。複合現実に没頭するには、MicrosoftHoloLensなどの特別なデバイスが必要です。

Microsoft Hololens

これはラップトップ全体です:古典的なモジュールがあります-バッテリー、プロセッサー、光学系、周囲の空間を構築するためのセンサー、ジェスチャーやユーザーの行動を分析するためのセンサーなどの特別なモジュール。

このプロセスには特別な光学系が必要です。それぞれの目に2つの同じディスプレイを配置することはできません。結局のところ、ユーザーに同じ画像が与えられた場合、ステレオビジョンのためにオブジェクトは無限遠にあるように見えます。 Microsoft HoloLensはこれを考慮して、特に眼鏡の位置に合わせて画像を調整する必要があります。HoloLensでさえ、瞳孔の位置を検出し、見る場所に応じてホログラムを調整する特別なセンサーを備えています。

評価するには眼鏡をかけたカメラが必要ですホログラムを実際のオブジェクトの背後に深く配置できるように、周囲の世界。このために、特別なセンサーが使用されます-これらは私たちの周りの空間を分析し、その深さを分析する深度カメラです。

空間分析

専用カメラもありますユーザージェスチャを分析します-最新のMicrosoftHoloLensメガネは手を検出できます。これは、ホログラムを操作できることを意味します-ホログラムを取り、移動します。

空間分析

カメラの主な機能は、空間の分析ですその周り。ユーザーは、部屋の壁、テーブル、オブジェクトがどこにあるかを理解する必要があります。彼らは空間のグリッドを構築することによってそれらを評価します。これは、壁の後ろにホログラムを配置できる周囲のジオメトリです。実際の壁の後ろに仮想オブジェクトを隠すことができ、これにより奥行き感とホログラムの実際の存在感が実現します。

メガネはジェスチャーを検出しますが、それは何のためですか?ホログラムを操作するには、ユーザーはホログラムをクリック、回転、移動できる必要があります。ユーザーは、テキストを入力する仮想キーボードを持っている必要があります。今では非常に不便ですが、1秒間に1つのキーしか押さないことがわかりました。

したがって、ユーザーは世界とインターフェイスと対話する方法を再度学ぶ必要があります。このようなデバイスはこれまで誰も持っていなかったため、開発者は、現実世界のインタラクションと同様に、理解しやすいものである必要があることを心に留めておく必要があります。すべてが通常 どおりに行われる必要があり、ユーザーは日常生活と同じようにマグカップを手に取ることができる必要があります。そして、それは想像力が新しい行動の仕組みを生み出すためのスペースでもあります。

実生活で複合現実を適用できる場所

現代のメガネの焦点は業界です。なぜ一般ユーザーではないのですか?そのようなデバイスは高価なので-約3.5千ドル。危機的な状況での生産のみが、そのようなデバイスのコストを正当化することができます。

を通じて実装できる最初のソリューション眼鏡は仮想アシスタントであり、そのアイデアは、生産において、いくつかの操作には100〜150の組み立て手順と技術文書の指示があり、それらを深く理解する必要があるということです。そして、そのような眼鏡のアイデアは、この指示をデジタル化し、これらすべてのステップをホログラムの形で表示することです。

私たちはそのようなソリューションのプロトタイプを開発しましたサンクトペテルブルクでのガス展示会では、液化天然ガスタンカーの指導がアプリケーションで実施されました。ホログラム、テキスト、オーディオの形をした従業員は、自分が何をする必要があるかを聞いて見ます。さらに、技術的なプロセス中だけでなく、学習するための優れたプラットフォームでもあり、そのようなソリューションはMicrosoftHoloLensメガネで実行できます。

別のオプションは、リモートアシスタントです。眼鏡をかけている作業員と遠隔地の専門家をつなぎます。 2Dインターフェースを介した専門家は、作業者がカメラを通して観察したものを確認し、オーディオとビデオを介して彼に何かを伝え、宇宙にヒントを描くことができます。実空間に取り付けられており、例えばクレーンを専門家が一周して回す必要があると言った場合、従業員は気が散る可能性がありますが、ヒントはどこにも消えません。

これには、ゲームエンジン(UnityEngineとUnrealEngine)も含まれます。これらは、ゲームや拡張仮想現実アプリケーションの開発に使用されます。

ロボットとの相互作用

ロボットは、によって制御されるデバイスですいくつかの自由度。たとえば、プログラムを使用して移動および調整できる2つのモーターがある場合があります。イノポリス大学の研究室には、落下しても壊れないドローン、人型の歩行ロボットなど、そのような装置がたくさんあります。技術的なマニピュレーターがあり、それらは生産で使用することができます。これらの各デバイスは相互作用することができます。

ロボットとは?

どうやってやるの?最初の例は、産業用マニピュレーター用のVRシミュレーターであるバーチャルリアリティです。その上で、ロボットの操作方法を学び、デバイスがどのように機能するかを理解し、何らかのアクションを実行するようにプログラムし、シミュレーションでテストすることができます。

VRテクノロジーとの交差点での次のソリューションRoboticsは物理プロセスシミュレータです。たとえば、ロボットが飛行をシミュレートする宇宙船の面白いフライトシミュレーターや、VRメガネは、飛行の特定の段階に対応するソリューションと画像を提供します。そのため、プロセスは没入型でより現実的になります。

バーチャルリアリティはテレオペレーション-危険な生産がある場合、人がいるのが難しい危険な環境。デバイスはそこで機能し、人間への危険を減らします。しかし、それらを制御する必要があり、ロボットは日常的な操作しか実行できません。災害や危険な環境について話している場合、この場合は人間の知性が必要です。したがって、遠隔制御インターフェースが必要です-VRはこのためのオプションの1つになります。

ロボットは危険な操作中に役立ちます

拡張現実と複合現実の応用最も代表的なのはロボットプログラミングです。ユーザーはデバイスを通してロボットの状態、ロボットが何をしようとしているのかを確認できます。拡張現実と複合現実は、そのようなソリューションに焦点を当てています。ロボットが設置され、何らかのタスク用に設定する必要がある場合、そのために特別なリモコンが使用されます。これにより、デバイスを特定の位置に移動し、記憶し、さらに移動させることができます。

しかし、プログラムが完全に作成されると、それは困難です予期しない事件が発生するかどうか想像してみてください。このために、特別なインターフェイスが作成されます。これは、セキュリティとより効率的な対話の両方に必要です。

XRと複合現実はそれを助けます。そこで、仮想空間を構成したり、特定の実験に合わせて調整したり、ロボットを変更したりできます。エンジニアには無制限の構成オプションがあり、これによりセキュリティリスクが軽減されます。

具体的には、私たちのソリューションではいくつかの仮想オブジェクト。これには、システムと対話するためのメニュー、ロボットが来てほしい位置を記述するターゲットポイントがあります。次に、ロボットとそのデバイス (グリッパーまたはツール) の仮想モデルが必要です。

ポイントを設定したら、実行できます軌道がどのように実行されるかを確認するためのモーションシミュレーション。これがないと、ロボットや機器が損傷する可能性があり、仮想シミュレーションを見ると、人にとって安全で視覚的です。

そして、プログラムが正しく、それを確信した後、実際のロボットの作業を開始し、必要なプログラムを実行することができます。

ロボットとの通信方法

以下に、相互作用がどのように発生するかを示します。私たちのアプリケーションを通じて。これらのショットは研究室と実験室で撮影されました。私たちは、Platoon モバイル デバイスと Kuka IIWA 産業用ロボットの 2 種類のロボットを操作します。

ユーザーはMicrosoftHololensメガネを着用し、最初に空間を分析し、次にジェスチャーの助けを借りて、ユーザーはロボットとの対話を開始し、ロボットの位置を決定し、デバイスが動き始めるように座標とアヒルを設定します。

ロボットは座標を使用して宇宙をナビゲートします

移動ロボットの場合、ドットを入れるだけで十分です床では、これは2D座標であり、マニピュレータの場合は3D座標を設定する必要があります。各マニピュレーターには独自の要件があり、プログラムに合格した後、デバイスをシミュレートできます。同時に、ロボットが何をするかという軌跡をすぐにはっきりと見ることができます。これは、タブレットや通常のテキストエディタインターフェイスでは実行できません。このようなシステムの意味は、1つのインターフェースを介してさまざまなタイプのロボットと対話できることです。

できるのはこれらのクロスプラットフォームテクノロジーです彼らが興味を持っているものをまだ探している人々に興味を持ってください。 XRとロボット工学が交差する場合、コンピュータービジョンなどの技術に注目できます。眼鏡とロボットの両方に、空間を分析するための特別なカメラがあります。マップを構築するためのSLAMアルゴリズム、コントローラー、デバイスの位置決めのための追跡システムもあります。

続きを読む

月食がNASAとロスコスモスによってどのように撮影されたかを比較してください

「第5の力」は、宇宙に目に見えない「壁」を作ります。物理学者の新しい理論についての主なこと

サル痘感染マップが公開されました