Нейробиологи до сих пор до конца не понимают весь процесс того, как мозг преобразует визуальную информацию в
Imagens originais (topo) e imagens de reconhecimento cerebral de difusão estável. Imagem: Yu Takagi, Shinji Nishimoto, bioRxiv
Este não é o primeiro estudo em que os cientistasusou IA para ler varreduras cerebrais e recriar as imagens. Mas no novo trabalho, eles adicionaram uma etapa adicional: ao treinar IA, são usadas descrições textuais de fotografias. Como resultado, o algoritmo analisa não apenas a atividade cerebral associada à visualização de imagens, mas também a descrição do texto. Isso é uma reminiscência de algoritmos populares, como DALL-E 2 e Midjourney.
Para difusão estável de reconhecimento de padrãousa dados de varredura cerebral de ressonância magnética funcional (fMRI) coletados por meio da visualização de várias imagens. Quando as pessoas olham para uma fotografia, os lobos temporais analisam informações sobre o conteúdo da imagem (pessoas, objetos ou cenário), enquanto os lobos occipitais analisam a localização e a perspectiva, como a escala e a posição do conteúdo.
Para treinar a IA, os pesquisadores usaram um conjuntoimagens e padrões de atividade cerebral coletados durante a visualização. Com um treinamento simples, o algoritmo recriou efetivamente a localização dos objetos e a perspectiva das fotografias visualizadas, mas, em vez de objetos reais no centro da composição, desenhou formas abstratas. Mas, depois que os cientistas adicionaram descrições textuais às fotografias usadas no treinamento, a qualidade das imagens geradas aumentou significativamente.
Imagem original (esquerda) e imagens,obtidos usando algoritmos treinados em visual (z), texto (c) e dados combinados (à direita). Imagem: Yu Takagi, Shinji Nishimoto, bioRxiv
Os pesquisadores observam que a combinação de textoe os dados visuais durante o treinamento permitem reduzir significativamente a quantidade de dados que devem ser usados para treinar o modelo. Ao mesmo tempo, eles observam que até agora a IA só foi treinada e testada em dados fMRI para quatro pessoas. Provavelmente, uma amostra de um grande número de pessoas será necessária para criar um algoritmo universal.
Consulte Mais informação:
Nomeada uma vitamina que protege o cérebro da demência
Nomeado um tipo de insônia que reduz o risco de demência. Mas por que é desconhecido.
Descobriu-se quais homens são os mais férteis: seu esperma é 50% melhor que o resto