Neurovedci stále úplne nerozumejú celému procesu, ako mozog premieňa vizuálne informácie
Originálne obrázky (hore) a obrázky na rozpoznávanie mozgovej aktivity so stabilnou difúziou. Obrázok: Yu Takagi, Shinji Nishimoto, bioRxiv
Toto nie je prvá štúdia, v ktorej vedcipoužil AI na čítanie skenov mozgu a opätovné vytvorenie obrázkov. V novom diele však pridali ďalší krok: pri výcviku AI sa používajú textové popisy fotografií. Výsledkom je, že algoritmus analyzuje nielen mozgovú aktivitu spojenú s prezeraním obrázkov, ale aj textový popis. Pripomína to populárne algoritmy ako DALL-E 2 a Midjourney.
Pre rozpoznanie vzoru stabilná difúziavyužíva dáta z funkčnej magnetickej rezonancie (fMRI) zo skenovania mozgu zozbierané prezeraním rôznych obrázkov. Keď sa ľudia pozerajú na fotografiu, časové laloky analyzujú informácie o obsahu obrázka (ľudia, predmety alebo scenéria), zatiaľ čo okcipitálne laloky analyzujú polohu a perspektívu, ako je mierka a poloha obsahu.
Na trénovanie AI výskumníci použili súpravuobrázky a vzorce mozgovej aktivity zozbierané pri ich prezeraní. Jednoduchým tréningom algoritmus efektívne obnovil umiestnenie objektov a perspektívu prezeraných fotografií, ale namiesto skutočných objektov v strede kompozície nakreslil abstraktné tvary. Ale potom, čo vedci pridali k fotografiám použitým v tréningu textové popisy, kvalita vytvorených obrázkov sa výrazne zvýšila.
Pôvodný obrázok (vľavo) a obrázky,získané pomocou algoritmov trénovaných na vizuálnych (z), textových (c) a kombinovaných údajoch (vpravo). Obrázok: Yu Takagi, Shinji Nishimoto, bioRxiv
Vedci poznamenávajú, že kombinácia textua vizuálne dáta počas trénovania umožňujú výrazne znížiť množstvo dát, ktoré sa musia použiť na trénovanie modelu. Zároveň poznamenávajú, že AI bola doteraz vyškolená a testovaná na údajoch fMRI pre štyroch ľudí. Na vytvorenie univerzálneho algoritmu bude pravdepodobne potrebná vzorka od veľkého počtu ľudí.
Čítaj viac:
Pomenovaný vitamín, ktorý chráni mozog pred demenciou
Pomenovaný typ nespavosti, ktorý znižuje riziko demencie. Prečo však nie je známe.
Ukázalo sa, ktorí muži sú najplodnejší: ich spermie sú o 50 % lepšie ako ostatné