Neurolodzy wciąż nie w pełni rozumieją cały proces przetwarzania informacji wizualnych w mózgu
Oryginalne obrazy (u góry) i obrazy rozpoznawania aktywności mózgu ze stabilną dyfuzją. Zdjęcie: Yu Takagi, Shinji Nishimoto, bioRxiv
To nie pierwsze badanie, w którym biorą udział naukowcywykorzystał sztuczną inteligencję do odczytania skanów mózgu i odtworzenia obrazów. Ale w nowej pracy dodali dodatkowy krok: podczas szkolenia AI używane są tekstowe opisy zdjęć. W rezultacie algorytm analizuje nie tylko aktywność mózgu związaną z oglądaniem obrazów, ale także opis tekstowy. Przypomina to popularne algorytmy, takie jak DALL-E 2 i Midjourney.
Do stabilnej dyfuzji rozpoznawania wzorcówwykorzystuje dane skanu mózgu z funkcjonalnego rezonansu magnetycznego (fMRI) zebrane przez oglądanie różnych obrazów. Kiedy ludzie patrzą na zdjęcie, płaty skroniowe analizują informacje o treści obrazu (ludzie, przedmioty lub krajobraz), podczas gdy płaty potyliczne analizują położenie i perspektywę, takie jak skala i położenie treści.
Aby wyszkolić sztuczną inteligencję, naukowcy wykorzystali zestawobrazy i wzorce aktywności mózgu zebrane podczas ich oglądania. Dzięki prostemu szkoleniu algorytm skutecznie odtwarzał położenie obiektów i perspektywę oglądanych zdjęć, ale zamiast rzeczywistych obiektów w centrum kompozycji rysował abstrakcyjne kształty. Jednak po tym, jak naukowcy dodali opisy tekstowe do zdjęć wykorzystanych w treningu, jakość generowanych obrazów znacznie wzrosła.
Oryginalny obraz (po lewej) i obrazy,uzyskane za pomocą algorytmów wytrenowanych na danych wizualnych (z), tekstowych (c) i danych łączonych (po prawej). Zdjęcie: Yu Takagi, Shinji Nishimoto, bioRxiv
Naukowcy zauważają, że połączenie tekstui wizualne dane podczas uczenia pozwalają znacznie zmniejszyć ilość danych, które muszą być użyte do wytrenowania modelu. Jednocześnie zaznaczają, że do tej pory sztuczna inteligencja została przeszkolona i przetestowana na danych fMRI tylko dla czterech osób. Prawdopodobnie do stworzenia uniwersalnego algorytmu potrzebna będzie próba z dużej liczby osób.
Czytaj więcej:
Nazwany witaminą, która chroni mózg przed demencją
Nazwany rodzajem bezsenności, który zmniejsza ryzyko demencji. Ale dlaczego nie wiadomo.
Okazało się, którzy mężczyźni są najbardziej płodni: ich nasienie jest o 50% lepsze niż reszta