デニス・クレショフ-センサーテック研究所の所長。
アレクサンドルポポフ— チーフデザイナー
アンドレイ・デムチンスキー— Sensor-Techの医療プロジェクト責任者。
制限を取り除くニューロテクノロジー
男が通りを歩いている。一方で、彼は白い杖を持っており、それを使って道を感じます。もう1つは、ビデオカメラのように見える小さな黒い物体です。男はそれを最初に彼の前に、次に横に向けます。通行人は、この時点でイヤピースに次のプロンプトが聞こえることを知りません。「車、距離-5メートル。男、距離-3メートル。」
別の人がMFCに来ます。「こんにちは」とオペレーターが笑顔で言うと、この言葉が来場者の方を向いた画面に表示されます。男は微笑んでキーボードで問題を入力し始め、オペレーターはそれをコンピューターのモニターで読みます。聴覚障害者と外界との間の仲介者は、音声をテキストに変換する小さなデバイスです。
どちらのデバイスも社内で開発および製造されていますセンサーテック。所長のデニス・クレショフは、研究所にいる間、障害者のための組織と協力し始めました。彼は研究の実施を手伝いました。徐々にデニスは、彼がこの方向で働き、障害を持つ人々のために成長したいと思っていることに気づきました。したがって、2014年に彼が新しいSo-Unification財団の科学研究に参加するように提案されたとき、彼はすぐに同意しました。
盲ろう者支援財団「So-Unity」が設立されました2014年4月。盲ろう者の社会化に対処する：地域のサポートセンターを開設し、雇用、余暇、創造的な自己実現の機会を創出します。法的、心理的、的を絞った支援を提供します。
基金は、以下を含む様々なプロジェクトを蓄積してきましたデニスが参加した盲ろう者の問題に関連する若者と科学者。 「ある時点で、これらの問題を専門的な方法で扱う別の研究所の形式でこれを開発する方がはるかに効果的で正しいと判断されました」とクレショフは回想します。
家電のニュアンス
2017年、Sensor-Techラボが登場しました。So-UnificationFoundationによって設立されました。すぐに、聴覚障害者と視覚障害者のためのガジェットの作成に着手しました。科学技術イニシアチブからの助成金は、ニューロネットロードマップの枠組みの中でこれに割り当てられました。
助成金を受け取るための条件は、プロジェクトの協調融資でした。70％はNTIによって割り当てられ、残りのお金は開発者自身が見つける必要がありました。不足している30％は、So-UnificationFoundationによって提供されました。
実験室の仕事はゼロから構築されなければなりませんでした：設計局とパイロットプラントを設立し、そこでデバイスのプロトタイプを組み立てました。開発者が直面する最初の問題は、家電製品の作成経験の不足です。計装における彼らの以前の経験は、主に防衛産業に関連していた。
視覚障害者用のデバイスの最初のプロトタイプは面倒で不便すぎて使えません。ユーザーからのフィードバックを受けて、開発者はそれを真剣に変革しました。デバイスを中断することなく動作させ、使いやすく、理解しやすいものにする必要がありました。
現在、研究所は視覚障害者向けのデバイス「ロビン」と聴覚障害者向けのデバイス「チャーリー」を開発しました。
「障害を持つ人々のためのデバイスの市場はそれほど大きくありません、すべての生産は小規模で高価です」とデニスは言います。これがデバイスの価格がかなり高い理由です。「ロビン」の価格は15万ルーブル、「チャーリー」の価格は19万5000ルーブルです。したがって、製造業者は、技術的リハビリテーション手段のリストに自社の発明を含めるよう政府と交渉しています。この場合、政府が購入費用を補償します。
あなたが見ているものを教えてください
外見上、「ロビン」はポータブルカメラに似ています。センサーがオブジェクトをスキャンし、人工知能がユーザーの前にあるもの（車、テーブル、コンピューター、他の人）を判別します。デバイスメモリには50を超えるオブジェクトがあります。そこに写真をアップロードすると、その人を認識して名前を表示します。暗闇で「ロビン」を使うために、懐中電灯が組み込まれています。この場合、ガジェットはオブジェクトに名前を付けるだけでなく、オブジェクトまでの距離も推定します。
「ロビン」の最初のリリースは失敗しました。デバイスが物体を検出するには、デバイスを向けてボタンを押し、2秒以上待つ必要がありました。しかし、これはユーザーにとって不便であることが判明しました。ボタンを押した直後に、ユーザーはデバイスを左右に動かし始めました。このため、「ロビン」が発声した情報は無関係であることが判明しました。彼は、移動する前に認識したオブジェクトについて説明していました。
「私たちは、デバイスを支援する方法と、どこで行うべきかを知っていました。直接、そして人々はそのような経験を持っていませんでした。このため、デバイスがうまく機能していないように見えました」とアレクサンダーは説明します。その後、開発者は仕事の原則を変更することにしました。デバイスからのフィードバック時間は1秒に短縮されましたが、「ロビン」はボタンが押されたときにのみ機能しました。このオプションは、ユーザーにとってより明確で簡単であることが判明しました。
「直接の競合他社、つまり同じ機能を備えたデバイスは市場に出回っていません。しかし、類似物があります。たとえば、OrCamです」とAlexanderは言います。
OrCamMyEyeおよびOrCamMyReaderは、イスラエルの同名の会社によって製造されたポータブル人工視覚装置です。メガネのテンプルに装着できる小型のワイヤレスカメラです。最初のデバイスは、印刷されたテキストとデジタルテキスト、商品のバーコードを読み取り、認識します2つ目は、テキストを読むためだけに使用されます。ガジェットは17の言語をサポートし、インターネット接続を必要としません。
声がテキストに変わる
「チャーリー」は問題のある人を対象としています聴覚。聴覚障害者のための教育経験のある人々がその開発に参加しました。したがって、開発者は、コミュニケーションの過程で生じる困難と双方の要求を認識していました。
デバイスは2mの距離で音声を拾い、画面にテキストとして表示します。ガジェットは盲ろう者も使用できます。このため、点字ディスプレイが「チャーリー」に接続されています。それはあなたがあなたの指で情報を読んでそして応答を入力することを可能にします。
点字は1824年に開発されました。それは凸状の点とそれらの間のボイドのシステムです。各文字は、3x2トレリスを使用してエンコードされます。各セル内のドットの組み合わせは、文字または句読点に対応します。たとえば、テキストがラテン文字からキリル文字に文章を変更する場合、これも特別な記号で示されます。
開発者は、「チャーリー」の類似物は市場もそうではありません。音声をテキストに翻訳する多くのプログラムは、主に人間とコンピュータの相互作用のために設計されており、2人が互いに通信するためのものではありません。
音声認識が可能な最初のマシンベル研究所の壁の中に50年代に登場しました。デバイスは0から9までの数を決定しました。同時に、機械は発明者をはるかによく理解しました。彼が話したとき、再現精度は約90％でした。デバイスは、70〜80％のケースでのみ、他の人の音声を正しく認識しました。
90年代まで、音声認識はテンプレート：音波は一連の数値に変換され、音声がサンプルと一致したときに結果が表示されました。したがって、音声信号を正しく解釈するには、バックグラウンドノイズを除去し、ゆっくりとはっきりと話す必要がありました。
単語間の一時停止を必要としない最初の音声認識エンジンは、Dragon の NaturallySpeaking でした。1997年に登場し、現在も使用されています。
機械学習とAIテクノロジーが大幅に音声認識システムを改善し、アルゴリズムを各人の個々のコミュニケーション方法に適合させることを可能にしました。その結果、音声アシスタントが登場しました。Googleアシスタント、AppleのSiri、AmazonのAlexa、Yandexの「Alice」です。さらに、音声認識、音声のテキストメッセージへの翻訳のために、ListNote、SpeechNotesなどの特別なアプリケーションがあります。 Speechloggerなどの一部のアプリケーションでは、ある言語から別の言語への同時翻訳を実行することもできます。
「チャーリー」の助けを借りて、対話者はコミュニケーションをとることができるようになります仲介者に頼ることなくお互いに。また、大学での講義や会議などの遠隔通信にも使用できます。プレゼンターは彼の隣に「チャーリー」を置き、リスナーはリンクでプログラムに接続するだけで十分です。デコードされた音声は、スマートフォンやパソコンの画面にリアルタイムで表示されます。
もう一度世界を見る
また、「Sensor-Tech」は、視力を回復するためのニューロテクノロジーの使用に関連する科学的研究に参加しています。
それはすべて2016年に国際的に始まりましたアメリカでの会議。そこで、So-Unification Foundationの代表者は、バイオニックビジョンを扱っているアメリカの会社と会いました。彼らは、視覚障害者にバイオニックチップを移植するためにロシアで実験を行うことに同意した。
「このデバイスはすべての人に適用できるとは限りません視覚障害者の場合、これはかなり狭い病気のプールであり、主に網膜色素変性症です。特徴は、それで、細胞の1つの層だけが死ぬということです。そして、それは光を電気信号に変えます。残りの細胞は生きたままです」とデニスは説明します。
網膜色素変性症この病状では、画像を収集し、それを視神経に沿って脳に伝達する網膜細胞が徐々に破壊されます。この病気は、側方視力と暗視力の喪失から始まり、最終的には網膜色素変性症に対する効果的な予防策はなく、治療法もありません。マイクロチップの埋め込みはまだ開発中であり、医師もブレークスルーの可能性を示唆しています遺伝子治療や幹細胞治療になります。
その結果、So-SoyedinenieとArt、Science、Sportのファンドのデータベースに 正しい診断を受けた2人の人を見つけました付随する病状はありませんでした。 2017年、インプラントはグリゴリー・ウリヤノフとアントニーナ・ザハルチェンコに設置されました。運営のための資金は、アリシェル・ウスマノフ財団によって割り当てられました。
アリシェル・ウスマノフ財団「芸術、科学、スポーツ」2006年に設立されました。教育および科学プロジェクト（MGIMO、MISiSと協力）に資金を提供し、美術館や劇場（Sovremennik、Tretyakov Gallery、Igor Moiseyevのアンサンブルなど）をサポートします。財団はまた、健康的なライフスタイルを促進し、障害者を含む競技会を開催しています。
手術中、患者の網膜が配置されます電極を移植します。これは、カメラを内蔵した特殊なメガネに関連付けられています。カメラからの情報はマイクロコンピューターに送信され、マイクロコンピューターは画像を処理してインプラントに信号を送信します。電気インパルスは視神経に沿って脳に伝達され、そこで画像が形成されます。
インプラントには60個の電極があり、60ピクセルの写真-インプラントによって刺激されたポイントの数による。その助けを借りて、窓、ドア、テーブル、車など、十分な大きさのオブジェクトのみの画像を取得できます。小さな物体は、電極が形成する「マトリックス」から外れるか、データがそれらを識別するのに不十分である可能性があります。
患者は責任のある細胞を持っていないので演色性、画像は白黒です。しかし、完全な失明と比較して、健康な人の観点からのそのような限られた視力でさえ、患者の能力を大幅に拡大します。彼らは、外部の助けや追加の装置なしで、なじみのない状況でも宇宙に向きを変えることができ、完全に独立することができます。
Sensor-Techは、この操作でロシアでインプラントを登録し、ハイテク医療の枠組みの中で利用できるようにします。しかし、問題が発生しました。保健省は、インプラントの安全性について結論を出すには、2つの手術では不十分であると考えました。次に、アメリカ人は、この方法が最終的に承認されるという保証がなかったので、それ以上の実験を行うことを拒否しました。
「目のインプラントに関しては、話は終わりました。しかし、これは、脳に配置される皮質インプラントの形で継続しているので、さらに良いです。ここで、情報の視覚的処理が行われます。チップは、目の視覚障害とは異なり、あらゆる種類の視覚障害に使用できます。これはよりハイテクなソリューションです」とデニスは言います。
すでに2021年に、同社は最初の新しい方向への開発。これはロシアで最初の脳ELVISの神経インプラントであり、視覚障害者と盲ろう者の視力を回復するのに役立ちます。このデバイスには、脳に取り付けられたインプラント、頭に装着する2台のカメラを備えたフープがあります。これらは目の機能を引き継ぎ、画像を分析して脳に送信するマイクロコンピューターを備えています。この技術により、物体や人物のシルエットを区別し、物体の位置を把握することができます。
システムがげっ歯類でテストされている間、サルでのテストが続きます。 2024年には、10人の盲目のボランティアが皮質インプラントの設置を計画しています。
皮質視覚インプラントそれらは大脳皮質を刺激します専門家によると、これにより画像の明るさを変更し、バイオニックインプラントの使用では不可能な色再現を提供します。皮質インプラントの移植のための最初の手術は、前世紀の70年代に行われました。そして2018年、アメリカのセカンドサイト社は、最初の盲目のボランティアに最新の神経インプラントを公に取り付けました。この技術は臨床試験中です。
科学研究と海外市場
研究室の事例の中には他にもあります発達。たとえば、携帯電話用の無料アプリケーションは、視覚障害者が紙幣の額面を決定するのを支援するために携帯電話事業者と共同で開発されました。 iOSとAndroidで利用できます。
請求書の金額を確認するには、スマートフォンのカメラを請求書に向けるだけです。 AIは紙幣を識別し、名前を付けます。また、同時に複数の請求書にカメラを向けると、デバイスはすぐにそれらの金額を計算します。
アプリケーションが声の演技を聞くことができない視覚および聴覚障害、法案の金種は振動を使用して認識することができます-異なる金種には独自のモードがあります。
電話が請求書を認識できない場合は、写真を撮り、「開発者向けヘルプ」機能を使用してデータベースに追加します。通常、これが必要になるのは、新しいまたはまれな記念紙幣を発行するときです。
デバイスの生産に加えて、Sensor-Tech盲ろう者の分野で科学的研究に従事しています。 「私たちは健康な人に、視覚や聴覚に障害のある人が世界をどのように認識しているかを理解してもらいたいのです」とアンドレイは言います。
この投稿を Instagram で見る
そのため、研究所は違反のシミュレーターを作成しましたビュー：VRシミュレーターMyWorldとそのモバイルバージョンSMWProを参照してください。 「ノイズ」は、ライブ画像または静止画像にスーパーインポーズされます。その結果、特定の視覚的欠陥に応じて画像が歪んでしまいます。たとえば、画像の中央にぼやけたり、黒い斑点が表示されたりします。
「私たちは、さまざまな視覚障害。文字通り：白内障、近視、乱視、緑内障を患っている人の目を通して見る方法」とアンドレイは言います。また、シミュレーターを使用して、時間の経過とともに病気のダイナミクスを追跡することができます。これは、医師と学生が臨床像と患者の近親者をよりよく研究するのに役立ちます-文字通り彼の目を通して世界を見てください。
「画像をできるだけ正確にするために、それを作成するために、病気の臨床像が使用されます。さらに、私たちは患者と一緒に結果を明確にし、彼の視力がまだひどく損なわれていない場合、彼がそう見えるかどうかを確認できるようにします」とアンドレイは説明します。
今開発者は彼らの宣伝したい欧州および米国市場のデバイス。アマゾンにガジェットを設置するとともに、障害者の問題を扱っている政府機関や公的機関に届ける予定です。デニスは、応用開発の市場が成長するだけだと確信しています。また、Sensor-Tech研究所の所長は、テクノロジーのおかげで障害を持つ人々の生活を楽にするという彼の使命を見ています。
続きを読む：
AIは、科学者が50年間戦ってきた生物学的問題を解決しました
タスクに30兆年ではなくミリ秒：中国は新しい量子コンピューターを導入しました
科学者たちは、COVID-19に感染できない人を探しています。彼らのデータに基づいて、彼らは薬を作ります