Umělá inteligence se naučila určovat, co člověk vidí, na základě „čtení myšlenek“

Neurovědci stále plně nechápou celý proces, jak mozek přeměňuje vizuální informace

myšlenky.To ale nebrání AI v napodobování tohoto procesu. Japonští vědci zkombinovali algoritmy, které převádějí text na obrázky, a systém pro analýzu mozkové aktivity. Umělá inteligence Stable Diffusion skenuje mozek člověka a znovu vytváří relativně realistické verze obrázků, které viděli.

Původní obrázky (nahoře) a obrázky rozpoznávání mozkové aktivity se stabilní difúzí. Obrázek: Yu Takagi, Shinji Nishimoto, bioRxiv

Toto není první studie, ve které vědcipoužil AI ke čtení skenů mozku a opětovnému vytvoření obrázků. Ale v nové práci přidali další krok: při trénování AI se používají textové popisy fotografií. Výsledkem je, že algoritmus analyzuje nejen mozkovou aktivitu spojenou s prohlížením obrázků, ale také textový popis. To připomíná oblíbené algoritmy jako DALL-E 2 a Midjourney.

Pro rozpoznávání vzorů stabilní difúzepoužívá funkční magnetickou rezonanci (fMRI) skenování mozku data shromážděná prohlížením různých snímků. Když se lidé dívají na fotografii, časové laloky analyzují informace o obsahu obrázku (lidé, předměty nebo scenérie), zatímco týlní laloky analyzují umístění a perspektivu, jako je měřítko a poloha obsahu.

K trénování AI vědci použili saduobrázky a vzorce mozkové aktivity shromážděné při jejich prohlížení. Pomocí jednoduchého tréninku algoritmus efektivně znovu vytvořil umístění objektů a perspektivu prohlížených fotografií, ale místo skutečných objektů ve středu kompozice kreslil abstraktní tvary. Ale poté, co vědci přidali textové popisy k fotografiím použitým v tréninku, kvalita generovaných obrázků výrazně vzrostla.

Původní obrázek (vlevo) a obrázky,získané pomocí algoritmů trénovaných na vizuálních (z), textových (c) a kombinovaných datech (vpravo). Obrázek: Yu Takagi, Shinji Nishimoto, bioRxiv

Vědci poznamenávají, že kombinace textua vizuální data během trénování umožňují výrazně snížit množství dat, která musí být použita k trénování modelu. Zároveň poznamenávají, že dosud byla AI ​​trénována a testována pouze na datech fMRI pro čtyři osoby. Pravděpodobně bude k vytvoření univerzálního algoritmu zapotřebí vzorek od velkého počtu lidí.

Přečtěte si více:

Jmenován jako vitamín, který chrání mozek před demencí

Jmenovaný typ nespavosti, který snižuje riziko demence. Ale proč, není známo.

Ukázalo se, kteří muži jsou nejplodnější: jejich sperma je o 50 % lepší než ostatní