Neurologai vis dar visiškai nesupranta viso proceso, kaip smegenys paverčia vaizdinę informaciją į
Originalūs vaizdai (viršuje) ir stabilios difuzijos smegenų veiklos atpažinimo vaizdai. Vaizdas: Yu Takagi, Shinji Nishimoto, bioRxiv
Tai ne pirmas tyrimas, kuriame mokslininkainaudojo dirbtinį intelektą smegenų skenavimui skaityti ir vaizdams atkurti. Tačiau naujame darbe jie pridėjo papildomą žingsnį: lavinant AI, naudojami tekstiniai nuotraukų aprašymai. Dėl to algoritmas analizuoja ne tik smegenų veiklą, susijusią su vaizdų peržiūra, bet ir tekstinį aprašymą. Tai primena populiarius algoritmus, tokius kaip DALL-E 2 ir Midjourney.
Modelių atpažinimui Stabili difuzijanaudoja funkcinio magnetinio rezonanso (fMRI) smegenų skenavimo duomenis, surinktus žiūrint įvairius vaizdus. Kai žmonės žiūri į nuotrauką, laikinosios skiltys analizuoja informaciją apie vaizdo turinį (žmones, objektus ar peizažus), o pakaušio skiltys analizuoja vietą ir perspektyvą, pvz., turinio mastelį ir padėtį.
Norėdami išmokyti dirbtinį intelektą, mokslininkai naudojo rinkinįnuotraukas ir smegenų veiklos modelius, surinktus juos peržiūrint. Atlikus paprastą mokymą, algoritmas efektyviai atkūrė objektų vietą ir žiūrimų nuotraukų perspektyvą, tačiau vietoj realių objektų kompozicijos centre nupiešė abstrakčias formas. Tačiau mokslininkams prie mokymuose naudotų nuotraukų pridėjus tekstinius aprašymus, sugeneruotų vaizdų kokybė gerokai pagerėjo.
Originalus vaizdas (kairėje) ir vaizdai,gautas naudojant algoritmus, parengtus pagal vaizdinį (z), tekstą (c) ir kombinuotus duomenis (dešinėje). Vaizdas: Yu Takagi, Shinji Nishimoto, bioRxiv
Tyrėjai pažymi, kad teksto derinyso vizualiniai duomenys treniruočių metu leidžia žymiai sumažinti duomenų kiekį, kuris turi būti naudojamas modeliui apmokyti. Tuo pačiu metu jie pažymi, kad iki šiol dirbtinis intelektas buvo apmokytas ir išbandytas tik keturių žmonių fMRI duomenimis. Ko gero, norint sukurti universalų algoritmą, reikės pavyzdžio iš daugybės žmonių.
Skaityti daugiau:
Pavadintas vitaminu, kuris apsaugo smegenis nuo demencijos
Pavadinta nemigos rūšis, mažinanti demencijos riziką. Bet kodėl – nežinia.
Paaiškėjo, kurie vyrai yra vaisingiausi: jų sperma yra 50% geresnė nei kitų