Ilya Viksnin、ITMO - Volga、機能安全、およびトロリー問題の民主的解決について

ドローンは嘘をつくことができますか?

— 講演のテーマは「なぜロボットに嘘を強要するのか」です。古典の中にあります

理解 - 正しい情報を持っているにもかかわらず、意図的に誤った情報を提供すること。ロボットの文脈でこれをどのように理解すればよいでしょうか?

— 私たちの場合、嘘とは次のような情報です。現実世界の仕組みは、私たちが外側で読み取ったり伝えたりするものと一致しません。いかなる理由で?私たちのセンサーが壊れていて、本当にそのように認識しているか、あるいは改ざんのための改ざんか、あるいはその他の理由でそれを改ざんしているのです。コミュニケーションをとるとき、私は嘘をつくことができます。私の結論が間違っているか、見方が下手だからです。あなたにとっては関係ありませんが、いずれにせよ、この情報はあなたにとっては虚偽になります。そこで私たちは、システムを安全にする制御方法に注目しました。

-ロボットと「マルチエージェントシステム」について話すとき、無人車両を意味しますか?

-いいえ、それは最も人気のある目的地です。現在、最も人気のあるトピックは無人航空機です。

-発生する可能性のある問題の解決策をテストしていますか?

-2つのレベルがあります。 最初のレベルでは、ドローン内を移動する情報を調べます。センサーからの情報は、コンピューティングデバイスに到達する前に処理されるためです。 2番目のレベルでは、無人機の間で情報が交換され、私たちもそれをテストしています。それが実際の世界にどのように関係しているかを見ていきます。

-ドローンは今では異なっています-軍隊、民間人など。このように互いに情報を交換するドローンは特定のクラスですか?

- いいえ、実際には誰でも交換できます。正直なところ、情報を共有していないドローン デバイスを 1 つも知りません。リモコンで操作してもそのまま出ます。そのため、私たちはプライベート実装を使用してかなり高いレベルの抽象化に取り組んでいますが、一般に、これらはかなり一般的なソリューション、つまりジェネリックと呼ばれるものです。

-過去1年間、ドローンが人々に問題を引き起こしました。飛行機に衝突するドローン、滑走路をブロックするドローン。そのような状況はどういうわけか防げますか?

-それが人間によって制御されている場合、唯一の方法はただ彼を倒すことです。つまり、コントロールをつかむ、私たちが望むようにする、または単に物理的に破壊することです。ドローンが購入され、元々誰かによって組み立てられていて、私たちがそれをカスタム制御している場合、これらの標準アルゴリズムを知ることでそれを打ち消すことができます。しかし、現在、ドローンの収集は小学生や高校生の仕事です。多くのマニュアル、部品は問題なく購入でき、費用はそれほど高くありません。したがって、このようなドローンの内部にあるロジックは、完全に標準化することはできません。

-あなたは支配の傍受について言いました。それはどのように必要ですか?

-購入した商品を検討している場合システム、それから私達はそれが通信するプロトコルを知っています。理論的には、コントロールパネルを交換できます。しかし、これは非常に重要な作業です。工学と科学の観点から、これを行うことができます。実際には、これは非常に難しいエンジニアリング作業です。しかし、解決しました。

-今、誰もこれを行う方法を知りませんか?

-私の知る限り、誰もいません。いずれにしても、そのような情報は公開されていません。

-ドローンについて話すと、近い将来に発生する可能性のある他の問題は何ですか?

— 警備員としての私にとって、主な問題は次のとおりです。システムは人々が望むように機能しないだろうということです。私は「マトリックス」について話しているのではなく、システムのロジックと動作がどこかで違反される可能性があるという事実について話しています。私たちは 1 つの結果を見たいと思っていますが、別の結果もあるでしょう。大まかに言えば、これらのドローンでスタジアムを建設したいと考えています。主な問題は、基礎のレンガが必要に応じて配置されないことです。つまり、私たちは世界規模でスタジアムを建設することになりますが、構造内のこうした小さなずれが構造全体の崩壊につながるのです。

-これらのドローン用のすべてのソフトウェアをプログラムする場合、どのような理由でこれらのレンガを間違って置くことができますか?

- ほら、コンピューターの世界はゼロと1つ目は、すべてが明らかであること。私たちはこのロジックを説明し、答えを受け取りました。物理世界は、0 から 1 までの範囲の値で構成されます。私たちが計算レベルで思い描いていることが現実世界に反映されるとは限りません。太陽が照りつけ、突風が吹いて、レンガは正しく配置されなくなりました。これは、環境の作用に適応し、外部要因に関係なくレンガを組み立てることができるソリューションを開発しようとするとき、情報安全性から派生した新しい科学分野である機能安全性の課題です。そして、これは難しい作業です。解決策はありますが、成功を完全に保証するものはありません。

-ドローンは大昔に大量アクセスで登場しました。今後、ドローンを購入して購入できる状況は同じだと思いますか?今ではおもちゃと考えられていますが、この変更は可能ですか?

-私は弁護士ではありませんが、良い意味で、そうすべきですいくつかの制限が導入されました。シリーズから「文書、ライセンス、その他のものなしで大型ドローンを購入するのは間違っています。」ドローングッズを購入しますか?なぜ、多くの損害を与える可能性は低いでしょう。ここでも、ストーリーは、必要に応じて、すべてをネガティブな光に包むことができるということです。したがって、私は科学に関係する人であり、これが一般に公開されることを望んでいます。しかし、通りを歩く人は、合理的な制限を導入することを望んでいます。合理的です。

群知能-ロボットと人間

-あなたは人間の行動を予測していました緊急事態では、「ラメ馬」の悲劇に基づいてこれをモデル化しました。バーのデジタルモデルを作成する方法は明らかです。しかし、どうすれば人々の行動を予測できますか?どのデータに基づいていますか?

-まさか、実は。人は一般に、特に緊急の場合に非常に自発的に行動します。しかし、発生した状況についてモデリングを使用してテストしたという仮説があります。

— 人々の行動をどのようにモデル化しましたか?あなたの結果は現実に非常に近かったです。

-そこにある論理について話したら置かれた場合、これはいわゆる群知能です。平均化運動、条件付きリーダーの選択、出口への移動など。十分な自明の原則。一般に、あらゆる知性の原理-私たちは非常に愚かな振る舞いをすることができる粒子を持っています、それは非常に平凡で単純な原理を持っています。しかし、最終的には、システム全体が非常にスマートに動作すると効果が得られます。

-あなたは今、テクノロジーにより適切な用語で話している。人といえば同じですか?

-ロボットは人間の原則に基づいて構築されています。 システムを人から取り出してロボットに適用する場合、少なくともシステムをロボットから人に適用できます。 ITの分野では、これらのルールが長い間策定されてきました。少なくとも1986年以来。

-実際、公共の場でも機能することを証明しましたか?

-はい、試してみましたが、うまくいきました。 私は社会学者でも心理学者でもありませんが、科学実験を行うという観点からの結果は正しいことが判明したようです。そして、この平凡なレベルは、条件付きで鳥の行動からコピーすることができます。原則として、判明しました。

「子供よりも私を倒した方がいい」:ドローン倫理

-あなたは倫理的な問題について話しました誰かを殺さなければならない場合のドローンと選択のジレンマ。トロリーの問題は、実際にはほとんど不可能です。しかし、一般的に、そのようなことはプログラムされるべきだと思いますか?そして、彼らは現実の生活の中で生まれることができますか?

-彼らは確かに実際の生活で発生し、これをプログラムしないと、どうなりますか?見て、私たちはアルゴリズムを開発しました、車は機能していて、すべてが運転しています、そして、祖母と子供が道路の異なる端から逃げるという状況があります。そのような場合に行動の論理を定めなければ、私たちは、そうであったように、このことに対する道徳的責任から解放されます。これは私にとってはco病への一歩です。

サイドバー

-このような状況で無人システムに特定の行動モデルを配置しない場合、それはどうなりますか?

— それはシステムによって異なります。おそらく彼はリスクを最小限に抑え、条件付きで近くにいる者を撃ち落とそうとするでしょう。

「これをすべてプログラムする必要があるとあなたは言います。」誰を倒すべきかは誰が決めるべきですか?

-マサチューセッツ州(MIT-「ハイテク」)が正しい道、つまり民主主義を取っているように思えます。

マサチューセッツ工科大学の科学者Institute(MIT)は、倫理的ジレンマが発生した場合の無人車両の動作について2つのオプションから選択するようにユーザーに求めるゲームを作成しました。その結果、数百人の国々で数百万人が参加した世界的な調査が行われました。さまざまな国の人々は、ドローンが倫理的問題をどのように解決すべきかについて異なる考えを持っていることが判明しました。

-つまり、私たちは投票しなければなりません、誰がドローンを撃ち落とすべきですか?

- あまり。私たちが選択できるようにする社会学の研究がなければなりません。一人のプログラマーではなく、全人類がその責任を負います。

-これはうまくいくと思いますか、人々はそれを受け入れますか?

- これでも不満が残るでしょう。多くの人に選択肢が与えられており、当然それに反対する人もいるでしょう。しかし、選択の余地がまったくなく、代わりに権威主義的な決定がある場合、これは完全に公平ではありません。