神経科学者は、脳が視覚情報をどのように変換するかというプロセス全体をまだ完全には理解していません。
オリジナル画像（上）とStable Diffusionの脳活動認識画像。画像：高木優、西本真司、bioRxiv
これは、科学者が参加した最初の研究ではありません。AI を使用して脳スキャンを読み取り、画像を再作成しました。しかし、新しい作業では、彼らは追加のステップを追加しました.AIをトレーニングするとき、写真のテキスト説明が使用されます.その結果、アルゴリズムは、画像の表示に関連する脳の活動だけでなく、テキストの説明も分析します。これは、DALL-E 2 や Midjourney などの一般的なアルゴリズムを連想させます。
パターン認識用安定拡散さまざまな画像を表示して収集した機能的磁気共鳴画像法 (fMRI) の脳スキャン データを使用します。人が写真を見ると、側頭葉は画像の内容 (人、物、風景) に関する情報を分析し、後頭葉は内容の縮尺や位置などの位置と遠近法を分析します。
AIをトレーニングするために、研究者はセットを使用しましたそれらを見ている間に収集された脳活動の写真とパターン。簡単なトレーニングで、アルゴリズムはオブジェクトの位置と表示されている写真の視点を効果的に再現しましたが、構図の中心にある実際のオブジェクトではなく、抽象的な形を描きました.しかし、科学者がトレーニングで使用した写真にテキストによる説明を追加した後、生成される画像の品質は大幅に向上しました。
元画像（左）と画像、ビジュアル (z)、テキスト (c)、および結合されたデータ (右) でトレーニングされたアルゴリズムを使用して取得されます。画像：高木優、西本真司、bioRxiv
研究者は、テキストの組み合わせがまた、トレーニング中のビジュアル データにより、モデルのトレーニングに使用する必要があるデータの量を大幅に削減できます。同時に、これまでのところ、AI は 4 人の fMRI データでしかトレーニングおよびテストされていないことに注意してください。おそらく、普遍的なアルゴリズムを作成するには、多数の人々からのサンプルが必要になるでしょう。
続きを読む：
脳を認知症から守るビタミンと命名
認知症のリスクを軽減するタイプの不眠症と名付けられました。しかし、理由は不明です。
どの男性が最も肥沃であるかが判明しました：彼らの精子は他の男性より50％優れています