Невролозите все още не разбират напълно целия процес на това как мозъкът се трансформиравизуална информация в
Оригинални изображения (отгоре) и изображения за разпознаване на мозъчна активност със стабилна дифузия. Изображение: Ю Такаги, Шинджи Нишимото, bioRxiv
Това не е първото изследване, в което ученитеизползва AI за четене на мозъчни сканирания и пресъздаване на изображенията. Но в новата работа те добавиха допълнителна стъпка: когато се обучава AI, се използват текстови описания на снимки. В резултат на това алгоритъмът анализира не само мозъчната активност, свързана с гледането на изображения, но и текстовото описание. Това напомня на популярни алгоритми като DALL-E 2 и Midjourney.
За разпознаване на образи, стабилна дифузияизползва данни от мозъчно сканиране с функционален магнитен резонанс (fMRI), събрани чрез разглеждане на различни изображения. Когато хората гледат снимка, темпоралните лобове анализират информация за съдържанието на изображението (хора, обекти или пейзаж), докато тилните дялове анализират местоположението и перспективата, като мащаба и позицията на съдържанието.
За да обучат AI, изследователите са използвали наборснимки и модели на мозъчна дейност, събрани, докато ги гледате. С просто обучение алгоритъмът ефективно пресъздава местоположението на обектите и перспективата на разглежданите снимки, но вместо реални обекти в центъра на композицията, той рисува абстрактни форми. Но след като учените добавиха текстови описания към снимките, използвани в обучението, качеството на генерираните изображения се увеличи значително.
Оригинално изображение (вляво) и изображения,получени с помощта на алгоритми, обучени върху визуални (z), текстови (c) и комбинирани данни (вдясно). Изображение: Ю Такаги, Шинджи Нишимото, bioRxiv
Изследователите отбелязват, че комбинацията от тексти визуалните данни по време на обучение ви позволяват значително да намалите количеството данни, които трябва да се използват за обучение на модела. В същото време те отбелязват, че досега AI е обучен и тестван само върху данни от fMRI за четирима души. Вероятно ще е необходима извадка от голям брой хора, за да се създаде универсален алгоритъм.
Прочетете още:
Наречен витамин, който предпазва мозъка от деменция
Нарича се вид безсъние, което намалява риска от деменция. Но защо не е известно.
Оказа се кои мъже са най-плодовити: тяхната сперма е с 50% по-добра от останалите