Neurotieteilijät eivät vieläkään täysin ymmärrä koko prosessia, jolla aivot muuntaa visuaalisen tiedon
Alkuperäiset kuvat (ylhäällä) ja Stable Diffusio -aivotoiminnan tunnistuskuvat. Kuva: Yu Takagi, Shinji Nishimoto, bioRxiv
Tämä ei ole ensimmäinen tutkimus, jossa tutkijatkäytti tekoälyä aivoskannausten lukemiseen ja kuvien luomiseen. Mutta uudessa työssä he lisäsivät lisävaiheen: AI-koulutuksessa käytetään valokuvien tekstikuvauksia. Tämän seurauksena algoritmi analysoi kuvien katseluun liittyvän aivotoiminnan lisäksi myös tekstikuvauksen. Tämä muistuttaa suosittuja algoritmeja, kuten DALL-E 2 ja Midjourney.
Kuvioiden tunnistamiseen Vakaa diffuusiokäyttää funktionaalisen magneettikuvauksen (fMRI) aivojen skannaustietoja, jotka on kerätty katselemalla erilaisia kuvia. Kun ihmiset katsovat valokuvaa, ohimokeilat analysoivat tietoa kuvan sisällöstä (ihmisistä, esineistä tai maisemista), kun taas takaraivolohkot analysoivat sijaintia ja perspektiiviä, kuten sisällön mittakaavaa ja sijaintia.
Tekoälyn kouluttamiseen tutkijat käyttivät sarjaakuvia ja aivojen toimintamalleja, jotka on kerätty katsellessasi niitä. Yksinkertaisella harjoittelulla algoritmi loi tehokkaasti uudelleen kohteiden sijainnin ja katseltavien valokuvien perspektiivin, mutta sommittelun keskellä olevien todellisten esineiden sijaan se piirsi abstrakteja muotoja. Mutta kun tutkijat lisäsivät tekstillisiä kuvauksia koulutuksessa käytettyihin valokuviin, luotujen kuvien laatu parani merkittävästi.
Alkuperäinen kuva (vasemmalla) ja kuvat,saatu käyttämällä algoritmeja, jotka on koulutettu visuaaliseen (z), tekstiin (c) ja yhdistettyyn dataan (oikealla). Kuva: Yu Takagi, Shinji Nishimoto, bioRxiv
Tutkijat huomauttavat, että tekstin yhdistelmäja visuaaliset tiedot harjoituksen aikana mahdollistavat huomattavasti mallin harjoittamiseen käytettävän datan määrän vähentämisen. Samalla he huomauttavat, että toistaiseksi tekoälyä on koulutettu ja testattu vain neljän ihmisen fMRI-tiedoilla. Universaalin algoritmin luomiseksi tarvitaan luultavasti näyte suuresta määrästä ihmisiä.
Lue lisää:
Nimetty vitamiiniksi, joka suojaa aivoja dementialta
Nimetty unettomuuden tyypiksi, joka vähentää dementian riskiä. Mutta miksi, on tuntematon.
Kävi ilmi, mitkä miehet ovat hedelmällisimpiä: heidän siittiönsä on 50 % parempia kuin muiden