AI ble lært opp til å bestemme hva en person ser basert på "tankelesing"

Nevrologer forstår fortsatt ikke helt hele prosessen med hvordan hjernen forvandlesvisuell informasjon i

Men det stopper ikke AI fra å etterligne detteJapanske forskere har kombinert algoritmer som konverterer tekst til bilder og et system for å analysere hjernens aktivitet.Stable Diffusions AI skanner en persons hjerne og gjenskaper relativt realistiske versjoner av bildene de har sett.

Originalbilder (øverst) og stabil spredning av hjerneaktivitetsgjenkjenningsbilder. Bilde: Yu Takagi, Shinji Nishimoto, bioRxiv

Dette er ikke den første studien der forskerebrukte AI til å lese hjerneskanninger og gjenskape bildene. Men i det nye arbeidet la de til et ekstra trinn: når du trener AI, brukes tekstbeskrivelser av fotografier. Som et resultat analyserer algoritmen ikke bare hjerneaktiviteten knyttet til visning av bilder, men også tekstbeskrivelsen. Dette minner om populære algoritmer som DALL-E 2 og Midjourney.

For stabil diffusjon for mønstergjenkjenningbruker funksjonell magnetisk resonansavbildning (fMRI) hjerneskanningsdata samlet inn ved å se forskjellige bilder. Når folk ser på et fotografi, analyserer tinninglappene informasjon om innholdet i bildet (mennesker, gjenstander eller landskap), mens bakhodelappene analyserer plassering og perspektiv, for eksempel innholdets skala og posisjon.

For å trene opp AI brukte forskerne et settbilder og mønstre av hjerneaktivitet samlet mens du ser på dem. Med enkel trening gjenskapte algoritmen effektivt plasseringen av objekter og perspektivet til fotografiene som ble sett på, men i stedet for virkelige objekter i midten av komposisjonen tegnet den abstrakte former. Men etter at forskerne la til tekstlige beskrivelser til fotografiene som ble brukt i opplæringen, økte kvaliteten på de genererte bildene betydelig.

Originalbilde (til venstre) og bilder,oppnådd ved hjelp av algoritmer trent på visuell (z), tekst (c) og kombinerte data (høyre). Bilde: Yu Takagi, Shinji Nishimoto, bioRxiv

Forskerne bemerker at kombinasjonen av tekstog visuelle data under trening lar deg redusere mengden data som må brukes for å trene modellen betydelig. Samtidig bemerker de at så langt har AI kun blitt trent og testet på fMRI-data for fire personer. Sannsynligvis vil en prøve fra et stort antall mennesker være nødvendig for å lage en universell algoritme.

Les mer:

Kåret til et vitamin som beskytter hjernen mot demens

Kåret til en type søvnløshet som reduserer risikoen for demens. Men hvorfor er ukjent.

Det viste seg hvilke menn som er mest fruktbare: sædcellene deres er 50 % bedre enn resten