Neirozinātnieki joprojām pilnībā neizprot visu procesu, kā smadzenes pārvērš vizuālo informāciju
Oriģinālie attēli (augšā) un attēli, kas iegūti smadzeņu darbības stabilās difūzijas atpazīšanas rezultātā. Attēls: Yu Takagi, Shinji Nishimoto, bioRxiv
Šis nav pirmais pētījums, kurā zinātniekiizmantoja AI, lai nolasītu smadzeņu skenējumus un rekonstruētu attēlus. Bet savā jaunajā darbā viņi pievienoja papildu soli: AI apmācīšanai tiek izmantoti fotoattēlu teksta apraksti. Rezultātā algoritms analizē ne tikai smadzeņu darbību, kas saistīta ar attēlu skatīšanu, bet arī teksta aprakstu. Tas atgādina tādus populārus algoritmus kā DALL-E 2 un Midjourney.
Rakstu atpazīšanai Stabila difūzijaizmanto funkcionālās magnētiskās rezonanses (fMRI) smadzeņu skenēšanas datus, kas savākti, skatot dažādus attēlus. Kad cilvēki skatās uz fotogrāfiju, temporālās daivas analizē informāciju par attēla saturu (cilvēkiem, objektiem vai ainavām), bet pakauša daivas analizē informāciju par izkārtojumu un perspektīvu, piemēram, satura mērogu un pozīciju.
Lai apmācītu AI, pētnieki izmantoja komplektuattēlus un smadzeņu darbības modeļus, kas savākti to skatīšanas laikā. Ar vienkāršu apmācību algoritms efektīvi atjaunoja objektu atrašanās vietu un skatīto fotogrāfiju perspektīvu, bet reālu objektu vietā kompozīcijas centrā zīmēja abstraktas figūras. Bet pēc tam, kad zinātnieki apmācībās izmantotajām fotogrāfijām pievienoja teksta aprakstus, ģenerēto attēlu kvalitāte ievērojami palielinājās.
Oriģinālais attēls (pa kreisi) un attēli,iegūts, izmantojot algoritmus, kas apmācīti vizuālos (z), teksta (c) un kombinētos datos (pa labi). Attēls: Yu Takagi, Shinji Nishimoto, bioRxiv
Pētnieki atzīmē, ka teksta kombinācijaun vizuālie dati apmācības laikā var ievērojami samazināt datu apjomu, kas jāizmanto modeļa apmācīšanai. Tajā pašā laikā viņi atzīmē, ka līdz šim AI ir apmācīts un pārbaudīts tikai ar četru cilvēku fMRI datiem. Lai izveidotu universālu algoritmu, visticamāk, būs nepieciešams paraugs no liela skaita cilvēku.
Lasīt vairāk:
Nosaukts par vitamīnu, kas aizsargā smadzenes no demences
Nosaukts par bezmiega veidu, kas samazina demences risku. Bet kāpēc nav zināms.
Izrādījās, kuri vīrieši ir visauglīgākie: viņu spermatozoīdi ir par 50% labāki nekā pārējie