無人車両、デジタルツイン、通信の自動制御はそうではありません。
AIがメンターなしで学習する方法
強化学習、RL）は、AI自体が特定の環境と相互作用することを前提としています。たとえば、囲碁ゲームのボードや、ロボットがそれに沿って移動する場合は外の世界などです。デバイスは、一般的なパターンを識別し、タスクを実行するときにそれらに焦点を合わせる必要があります。そして、「教師」と一緒に学ぶときは、AIがトレーニングする正しいアクションを示さなければならない人が必要です。
「RLの本質は、マシン、または私たちが言うように、エージェントは、絶え間ない練習のモードで学びます」と、YandexSciencePrizeの受賞者であるOlegSvidchenkoは述べています。 -AIは特定の条件に置かれ、「話す」-行動する。これは、マウスが迷路の中でチーズを探しに行く状況に似ています。間違った方向に曲がると、動物は壁に衝突し、戻ってきて、再試行します。強化学習の場合、正しいステップが報われます。アクションが正しければ高いほど、AIが受け取るポイントは多くなります。選択が正しくないことが判明した場合、エージェントはポイントを失います。トレーニング中、マシンはどのアクションの組み合わせがより有益であったかを記憶し、次回はそれを使用します。」
ソリューションの独立した検索により、エージェントは遅かれ早かれ男を凌駕する。これは、たとえば、DeepMindのMuZeroアルゴリズムによって示されました。このアルゴリズムは、数十の古いAtariビデオゲーム、チェス、およびGoタイプのボードゲームをプレイすることを学習しました。それを作成するために、彼らは会社の以前の開発を使用しました。たとえば、囲碁チャンピオンの李世ドルを倒すことができたAlphaGoや、チェスで使用されるAlphaZeroなどです。改善されたアルゴリズムは、より少ないデータからより多くの情報を抽出します。これで、トレーニング手順の半分が必要になります。
強化学習アルゴリズムはさまざまな業界で役立ちます。たとえば、医学では、パーソナライズされた動的治療を組織化するために、エンターテインメント業界では、コンピューターゲームの自動テストのために、または航空では、成層圏気球の自律制御のために。
AIが人々の助けになる分野
小売のデジタル化：完全自動化された店舗
最初の機械学習は業界で実装されています大量のデータを収集してデジタル化するプロセスがデバッグされます。たとえば、小売業では、すべての情報がレジを通過します。これは、AIが何かを処理できることを意味します。 Alexey Shpilmanによると、AIアルゴリズムを使用すると、あらゆる場所に自動化されたストアを作成でき、すべてのプロセスが人間の介入なしに実行されます。
この形式は2016年にテストされました。アマゾン会社。購入者はカートを受け取り、その中の商品を受け取り、そのままにします。購入代金はカードから自動的に引き落とされます。ロシアでは、同様のプロジェクトがAzbukaVkusaによって開発されました。
「購入者はトロリーを受け取り、その中の商品を受け取り、そのままにします。購入したお金はカードから自動的に引き落とされます。」
通信管理: ネットワーク障害の特定
強化学習のおかげで技術的な進歩は、電気通信、暖房ネットワーク、電力業界など、さまざまなネットワークの管理で発生する可能性があります。ここでの多くのプロセスは、人とのやり取りがあまりないため、ロボット化が非常に簡単です。
自動化は、次のようなシステムの構築につながります。より多くの情報に基づいた意思決定を行い、エネルギー消費を最適化します。たとえば、RL アルゴリズムに基づいて、HVAC コントローラー (Heating, Ventilation, & Air Conditioning - 暖房、換気、および空調の頭字語) が開発されています。これは、室温と換気の制御システムです。このテクノロジーをビジネスで使用すると、エネルギー消費の節約と炭素排出量の削減の両方に役立ちます。
無人機：試験技術と法律
おかげでブレークスルーを待っている別のエリア強化学習-輸送。すでに今日、無人車両と配達ロボットが通りにあります。業界の技術的進歩にもかかわらず、マッキンゼーのアナリストは、ドローンが早くても2030年まで主流になることはないと予測しています。規制を策定する必要があるため、実装は複雑です。シンガポールと米国では、高速道路に沿って自動輸送がすでに本格化しており、最近、ロシアで無人タクシーをテストする許可が出ています。
「自動化はほぼ常に改善しますしかし、人々はそのような技術の導入を恐れながら迎えます」とオレグ・スヴィチェンコ氏は確信する。 — すべての交通機関を無人テスラに置き換えれば、道路での事故の数は数倍に減少します。しかし、事故が起こるたびに多くの疑問が生じます。人の場合と同様、事故の原因を正確に言うことはできません。そして人々はこの未知のことを恐れています。」
「強化学習のおかげでブレークスルーを待っているもう1つの分野は輸送です」
デジタルツインが人類にどのように役立つか
強化学習アルゴリズムがそれを可能にしましたデジタル ツインを作成します。これは、オリジナルと同じ特性と特性を含む、オブジェクト、プロセス、さらには人の仮想プロトタイプです。産業企業は、たとえば、新しいコンベヤを立ち上げる前に、すべてのプロセスが適切に調整されているかどうかを確認するためにこのテクノロジーを使用しています。もちろん、すぐにプラグをコンセントに差し込むこともできますが、故障が発生した場合、修理には時間とリソースがかかります。したがって、コンベアは最初にコンピュータ上で起動されます。
人間のデジタルツインですべてがはるかに良くなります生物はより複雑なシステムであるため、より困難です。それでも、科学者は技術を習得し続け、個々の臓器と生物全体の両方の仮想コピーを作成します。たとえば、ボストンの病院では、心臓のデジタルツインを使用して手術を計画しています。将来的には、これにより、仮想患者の治療法をテストし、病気を予測することが可能になり、医学の革命であると主張する可能性があります。
「RLを含むAIの開発は、人々が自分自身をよりよく理解し始めるという事実」とアレクセイ・シュピルマンは示唆しています。 「私たちは自己認識のために私たち自身の脳を使用しているので、人間は閉鎖系です。しかし、このツールは私たちにとって十分ですか？心理学においても、反省には二人が必要であり、私たちは自分の中に閉じこめられています。世界的に、宇宙の文脈では、人類はまだ一人です。つまり、私たち自身について何か新しいことを学び、外から見るために話す人がいないということです。おそらく、強化学習のおかげで、私たちは自分の外にある種の実体を作成するでしょう。それは私たちの脳と意識によって制限されることはなく、人に新しい答えと意味を与えることができるでしょう。」
RLの広範な実装がまだ制限されている理由
科学者の進歩にもかかわらず、RL の実用化は依然として限られています。このシステムは学習に時間がかかり、ミスも多いため、あらゆる場所にアルゴリズムを実装するのは難しく、利益も得られません。
「エージェントはより多くの繰り返しを必要とするため、プロセス学習にはかなり長い時間がかかります-アレクサンダーグリシンは説明します-さらに、AIが最高のアクションを実行するのに十分ではありません。現在魅力のない動きの背後に大きな報酬が隠されている可能性があるため、彼は環境を探索する必要があります。強化学習の全体的な論理は、AIが長期的な成功のために短期的な利益を犠牲にすることを学ぶという事実に帰着します。これを行うには、事前に考えて、イベントの開発で考えられるシナリオを計算する必要があります。たとえば、エージェントが騎士をあきらめて女王を捕まえると、科学者たちはとても幸せになります。」
科学者の使命は、AI を確実に成長させることです学習のペースが速くなり、分析能力が向上しました。しかし、ありふれた問題が 1 つあり、急速な進歩を妨げています。それは、研究開発研究所や IT 企業の人員不足です。大学は研究所や研究センターを設立し、テクノロジー大手は専門コースを開設しています。
「今、機械学習の研究非常に需要があります。業界は急速に発展しており、人員不足は日々増加しています」とAlexeyShpilman氏は述べています。 「スペシャリストは、認識を超えて世界を変えるプロセスに参加する絶好のチャンスがあります。面白い仕事がたくさん。今、私たちは道のりの始まりにいますが、すでに良い結果を達成しています。 RLを使用することで、人類にどのような展望が開かれるか想像できますか？
続きを読む：
宇宙探査機はマーキュリーから200キロ離れたところを飛行しました。彼が見たものを見てください
科学者たちは、ビタミンが癌の発生率にどのように影響するかを明らかにします
人がポルノコンテンツを見ると、中国の読心ヘルメットが警報を鳴らします