数学者は、ニューラルネットワークを再トレーニングせずに6分の1に縮小しました

人工ニューラル ネットワークと生体内のニューロンの構造は、同じ原理に基づいています。のノード

ネットワークは相互接続されていますが、その一部は信号を受信し、信号を送信するものは、チェーン内の次の要素をアクティブ化または抑制します。画像や音声などの信号を処理するには、多くのネットワーク要素とそこからの接続が必要です。ただし、コンピューターのモデルには容量とメモリが限られています。大量のデータを扱うために、専門家はいわゆる量子化など、容量要件を削減するさまざまな方法を考え出す必要があります。これはリソース消費の削減に役立ちますが、システムの再トレーニングが必要になります。

「数年前、私たちは効果的な取り組みを実施しました。ホップフィールドネットワークにおける重みの経済的な量子化。これは、ヘブの法則に従って形成された要素間の対称的な接続を持つ連想記憶ネットワークです。動作中、ネットワークのアクティビティは特定の平衡状態まで低下し、平衡状態に達すると問題は解決されたとみなされます。この研究の結果は、後に、今日の画像認識で非常に普及している深層学習フィードフォワード ネットワークに適用されました。通常、これらのネットワークでは量子化後に再トレーニングが必要ですが、私たちはこれを回避する方法を見つけました。」

ヤコフ・カランダシェフ、科学候補者、RUDN大学准教授。

人工ニューラルの簡素化の背後にある基本的な考え方ネットワーク-これはいわゆる重みの量子化です。つまり、各重みのビット数を減らします。量子化には、信号の平均化が含まれます。たとえば、画像に適用すると、同じ色の異なる色合いを表すすべてのピクセルが同一になります。数学的には、これは、特定のパラメーターが類似している神経接続は、数値で表される同じ重み（または重要度）を持つ必要があることを意味します。

RUDN大学の数学者のチームが計算を実行し、量子化の前後のニューラルネットワークの重み間の相関を効率的に確立する式を作成しました。それらに基づいて、科学者は訓練されたニューラルネットワークが画像を分類できるアルゴリズムを開発しました。彼らの実験では、数学者は、1,000のグループに分割できる50,000枚の写真のテキストパッケージを使用しました。トレーニング後、ネットワークは新しい方法を使用して量子化され、再トレーニングされませんでした。次に、結果を他の量子化アルゴリズムと比較しました。

量子化後、分類精度わずか1％減少しましたが、必要なストレージボリュームは6分の1に減少しました。実験によると、元の重みと量子化された重みの間には強い相関関係があるため、このネットワークは再トレーニングを必要としません。このアプローチは、緊急のタスクを実行したり、モバイルデバイスで作業したりするときにリソースを節約するのに役立ちます。

続きを読む：

火星への飛行のために核ロケットエンジンが作られています。どのように危険ですか？

火星の8兆ピクセルの画像を見てください。

月のほこりは人間にとって致命的です。地球の衛星は植民地化に適していませんか？

中絶と科学：出産する子供たちに何が起こるか。