AI lärdes ut för att bestämma vad en person ser baserat på "tankeläsning"

Neuroforskare förstår fortfarande inte fullt ut hela processen för hur hjärnan omvandlar visuell information till

tankar.Men detta hindrar inte AI från att imitera denna process. Japanska forskare har kombinerat algoritmer som omvandlar text till bilder och ett system för att analysera hjärnans aktivitet. Stable Diffusions AI skannar en persons hjärna och återskapar relativt realistiska versioner av bilderna de har sett.

Originalbilder (överst) och bilder för igenkänning av hjärnaktivitet för stabil diffusion. Bild: Yu Takagi, Shinji Nishimoto, bioRxiv

Detta är inte den första studien där forskareanvände AI för att läsa hjärnskanningar och återskapa bilderna. Men i det nya arbetet lade de till ytterligare ett steg: när man tränar AI används textbeskrivningar av fotografier. Som ett resultat analyserar algoritmen inte bara hjärnaktiviteten i samband med att titta på bilder, utan även textbeskrivningen. Detta påminner om populära algoritmer som DALL-E 2 och Midjourney.

För mönsterigenkänning Stabil diffusionanvänder funktionell magnetisk resonanstomografi (fMRI) hjärnskanningsdata som samlats in genom att titta på olika bilder. När människor tittar på ett fotografi analyserar tinningloberna information om bildens innehåll (människor, föremål eller landskap), medan nackloberna analyserar plats och perspektiv, som innehållets skala och position.

För att träna AI:n använde forskarna en uppsättningbilder och mönster av hjärnaktivitet som samlats in när du tittar på dem. Med enkel träning återskapade algoritmen effektivt objektens placering och fotografiernas perspektiv, men istället för verkliga objekt i mitten av kompositionen ritade den abstrakta former. Men efter att forskarna lagt till textbeskrivningar till fotografierna som används i utbildningen, ökade kvaliteten på de genererade bilderna avsevärt.

Originalbild (vänster) och bilder,erhålls med hjälp av algoritmer tränade på visuell (z), text (c) och kombinerad data (höger). Bild: Yu Takagi, Shinji Nishimoto, bioRxiv

Forskarna noterar att kombinationen av textoch visuell data under träning gör att du kan minska mängden data som måste användas för att träna modellen avsevärt. Samtidigt noterar de att AI:n hittills bara har tränats och testats på fMRI-data för fyra personer. Förmodligen kommer ett urval från ett stort antal personer att krävas för att skapa en universell algoritm.

Läs mer:

Döpt till ett vitamin som skyddar hjärnan från demens

Benämns en typ av sömnlöshet som minskar risken för demens. Men varför är okänt.

Det visade sig vilka män som är mest fertila: deras spermier är 50 % bättre än resten