Los neurocientíficos aún no comprenden completamente todo el proceso de cómo el cerebro convierte la información visual en
Imágenes originales (arriba) e imágenes de reconocimiento de actividad cerebral de difusión estable. Imagen: Yu Takagi, Shinji Nishimoto, bioRxiv
Este no es el primer estudio en el que los científicosusó IA para leer escáneres cerebrales y recrear las imágenes. Pero en el nuevo trabajo, agregaron un paso adicional: cuando se entrena la IA, se usan descripciones textuales de fotografías. Como resultado, el algoritmo analiza no solo la actividad cerebral asociada con la visualización de imágenes, sino también la descripción del texto. Esto recuerda a algoritmos populares como DALL-E 2 y Midjourney.
Para reconocimiento de patrones Difusión estableutiliza datos de escaneo cerebral de imágenes de resonancia magnética funcional (fMRI) recopilados al ver varias imágenes. Cuando las personas miran una fotografía, los lóbulos temporales analizan información sobre el contenido de la imagen (personas, objetos o paisajes), mientras que los lóbulos occipitales analizan la ubicación y la perspectiva, como la escala y la posición del contenido.
Para entrenar la IA, los investigadores utilizaron un conjuntoimágenes y patrones de actividad cerebral recopilados mientras los veía. Con un entrenamiento simple, el algoritmo recreó efectivamente la ubicación de los objetos y la perspectiva de las fotografías que se estaban viendo, pero en lugar de objetos reales en el centro de la composición, dibujó formas abstractas. Pero, después de que los científicos agregaron descripciones textuales a las fotografías utilizadas en el entrenamiento, la calidad de las imágenes generadas aumentó significativamente.
Imagen original (izquierda) e imágenes,obtenido usando algoritmos entrenados en visual (z), texto (c) y datos combinados (derecha). Imagen: Yu Takagi, Shinji Nishimoto, bioRxiv
Los investigadores señalan que la combinación de textoy los datos visuales durante el entrenamiento le permiten reducir significativamente la cantidad de datos que deben usarse para entrenar el modelo. Al mismo tiempo, señalan que hasta ahora la IA solo ha sido entrenada y probada en datos de fMRI para cuatro personas. Probablemente, se requerirá una muestra de un gran número de personas para crear un algoritmo universal.
Lee mas:
Nombrada una vitamina que protege el cerebro de la demencia.
Nombrado un tipo de insomnio que reduce el riesgo de demencia. Pero se desconoce por qué.
Resultó qué hombres son los más fértiles: su esperma es un 50% mejor que el resto