Нейробіологи досі не розуміють весь процес того, як мозок перетворює візуальну інформацію в
Оригінальні зображення (згори) та знімки, отримані в результаті розпізнавання мозкової активності Stable Diffusion. Зображення: Yu Takagi, Shinji Nishimoto, bioRxiv
Це не перше дослідження, в якому вченівикористовували ІІ для читання знімків мозку та відтворення зображень. Але у новій роботі вони додали додатковий етап: під час навчання ІІ використовуються текстові описи фотографій. Через війну алгоритм аналізує як мозкову активність, пов'язану з переглядом зображень, а й текстовий опис. Це нагадує роботу популярних алгоритмів, таких як DALL-E 2 та Midjourney.
Для розпізнавання образів Stable Diffusionвикористовує дані сканування мозку за допомогою функціональної магнітно-резонансної томографії (ФМРТ), зібрані під час перегляду різних зображень. Коли люди дивляться на фотографію, скроневі частки аналізують інформацію про зміст зображення (людях, об'єктах або декораціях), а потиличні — про розташування та перспективу, таку як масштаб та положення вмісту.
Для навчання ІІ дослідники використовували набіркартинок і патерни мозкової активності, зібрані під час перегляду. При простому навчанні алгоритм ефективно відтворював розташування об'єктів і перспективу фотографій, що переглядаються, але замість реальних об'єктів у центрі композиції малював абстрактні фігури. Але, після того, як вчені додали текстові описи до фотографій, використаних при навчанні, якість згенерованих образів істотно зросла.
Оригінальне зображення (ліворуч) та образи,отримані під час використання алгоритмів, навчених на візуальних (z), текстових (c) та комбінованих даних (праворуч). Зображення: Yu Takagi, Shinji Nishimoto, bioRxiv
Дослідники зазначають, що комбінація текстовихта візуальних даних при навчанні дозволяє суттєво скоротити обсяг даних, які необхідно використовувати для навчання моделі. У той же час вони зазначають, що поки що ІІ був навчений і протестований лише на даних ФМРТ для чотирьох осіб. Ймовірно, знадобиться вибірка від великої кількості людей для створення універсального алгоритму.
Читати далі:
Названий вітамін, який захищає мозок від недоумства
Названий тип безсоння, який знижує ризик недоумства. Але чому — невідомо
З'ясувалося, які чоловіки найбільш плідні: їхня сперма на 50% краща, ніж у інших