AI a fost învățat să determine ceea ce vede o persoană pe baza „lecturii minții”

Oamenii de știință încă nu înțeleg pe deplin întregul proces în care creierul transformă informațiile vizuale în

gânduri.Dar acest lucru nu împiedică AI să imite acest proces. Oamenii de știință japonezi au combinat algoritmi care convertesc textul în imagini și un sistem de analiză a activității creierului. AI de la Stable Diffusion scanează creierul unei persoane și recreează versiuni relativ realiste ale imaginilor pe care le-a văzut.

Imagini originale (sus) și imagini de recunoaștere a activității cerebrale cu difuzie stabilă. Imagine: Yu Takagi, Shinji Nishimoto, bioRxiv

Acesta nu este primul studiu în care oamenii de științăa folosit AI pentru a citi scanări ale creierului și a recrea imaginile. Dar în noua lucrare, au adăugat un pas suplimentar: atunci când antrenează AI, sunt folosite descrieri textuale ale fotografiilor. Drept urmare, algoritmul analizează nu numai activitatea creierului asociată cu vizualizarea imaginilor, ci și descrierea textului. Acest lucru amintește de algoritmii populari precum DALL-E 2 și Midjourney.

Pentru recunoașterea modelelor de difuzie stabilăutilizează date de scanare cerebrală prin imagistica prin rezonanță magnetică funcțională (fMRI) colectate prin vizualizarea diferitelor imagini. Când oamenii se uită la o fotografie, lobii temporali analizează informații despre conținutul imaginii (oameni, obiecte sau peisaje), în timp ce lobii occipitali analizează locația și perspectiva, cum ar fi scara și poziția conținutului.

Pentru a antrena AI, cercetătorii au folosit un setimagini și modele ale activității creierului colectate în timp ce le vizionați. Cu un antrenament simplu, algoritmul a recreat în mod eficient locația obiectelor și perspectiva fotografiilor vizualizate, dar în loc de obiecte reale în centrul compoziției, a desenat forme abstracte. Dar, după ce oamenii de știință au adăugat descrieri textuale la fotografiile folosite în curs, calitatea imaginilor generate a crescut semnificativ.

Imagine originală (stânga) și imagini,obținut folosind algoritmi antrenați pe vizual (z), text (c) și date combinate (dreapta). Imagine: Yu Takagi, Shinji Nishimoto, bioRxiv

Cercetătorii observă că combinația de textiar datele vizuale în timpul antrenamentului vă permit să reduceți semnificativ cantitatea de date care trebuie utilizate pentru antrenamentul modelului. În același timp, ei observă că până acum AI a fost instruit și testat doar pe date fMRI pentru patru persoane. Probabil, va fi necesar un eșantion de la un număr mare de oameni pentru a crea un algoritm universal.

Citeste mai mult:

Denumită o vitamină care protejează creierul de demență

Numit un tip de insomnie care reduce riscul de demență. Dar de ce nu se știe.

S-a dovedit care bărbați sunt cei mai fertili: sperma lor este cu 50% mai bună decât restul