Der KI wurde beigebracht, anhand von „Gedankenlesen“ zu bestimmen, was eine Person sieht.

Neurowissenschaftler verstehen immer noch nicht vollständig den gesamten Prozess, wie das Gehirn visuelle Informationen in umwandelt

Gedanken.Dies hindert die KI jedoch nicht daran, diesen Prozess nachzuahmen. Japanische Wissenschaftler haben Algorithmen, die Text in Bilder umwandeln, mit einem System zur Analyse der Gehirnaktivität kombiniert. Die KI von Stable Diffusion scannt das Gehirn einer Person und erstellt relativ realistische Versionen der Bilder, die sie gesehen hat.

Originalbilder (oben) und Stable Diffusion-Gehirnaktivitätserkennungsbilder. Bild: Yu Takagi, Shinji Nishimoto, bioRxiv

Dies ist nicht die erste Studie, in der Wissenschaftlerverwendete KI, um Gehirnscans zu lesen und die Bilder neu zu erstellen. Aber in der neuen Arbeit fügten sie einen zusätzlichen Schritt hinzu: Beim Training von KI werden textuelle Beschreibungen von Fotos verwendet. Als Ergebnis analysiert der Algorithmus nicht nur die mit dem Betrachten von Bildern verbundene Gehirnaktivität, sondern auch die Textbeschreibung. Dies erinnert an beliebte Algorithmen wie DALL-E 2 und Midjourney.

Für die Mustererkennung Stabile Diffusionverwendet Gehirnscandaten der funktionellen Magnetresonanztomographie (fMRI), die durch Betrachten verschiedener Bilder gesammelt wurden. Wenn Menschen ein Foto betrachten, analysieren die Temporallappen Informationen über den Inhalt des Bildes (Menschen, Objekte oder Landschaften), während die Okzipitallappen den Ort und die Perspektive analysieren, z. B. den Maßstab und die Position des Inhalts.

Um die KI zu trainieren, verwendeten die Forscher ein SetBilder und Muster der Gehirnaktivität, die beim Betrachten gesammelt wurden. Mit einfachem Training stellte der Algorithmus die Position von Objekten und die Perspektive der betrachteten Fotos effektiv wieder her, zeichnete jedoch anstelle von realen Objekten im Zentrum der Komposition abstrakte Formen. Aber nachdem die Wissenschaftler den im Training verwendeten Fotos Textbeschreibungen hinzugefügt hatten, stieg die Qualität der erzeugten Bilder erheblich.

Originalbild (links) und Bilder,erhalten mit Algorithmen, die auf visuelle (z), Text (c) und kombinierte Daten (rechts) trainiert wurden. Bild: Yu Takagi, Shinji Nishimoto, bioRxiv

Die Forscher stellen fest, dass die Kombination von Textund visuelle Daten während des Trainings ermöglichen es Ihnen, die Datenmenge, die zum Trainieren des Modells verwendet werden muss, erheblich zu reduzieren. Gleichzeitig stellen sie fest, dass die KI bisher nur an fMRT-Daten für vier Personen trainiert und getestet wurde. Wahrscheinlich wird eine Stichprobe von einer großen Anzahl von Personen benötigt, um einen universellen Algorithmus zu erstellen.

Weiter lesen:

Benannt nach einem Vitamin, das das Gehirn vor Demenz schützt

Benannt nach einer Art von Schlaflosigkeit, die das Risiko einer Demenz verringert. Aber warum ist unbekannt.

Es stellte sich heraus, welche Männer am fruchtbarsten sind: Ihr Sperma ist 50% besser als der Rest