I neuroscienziati non comprendono ancora appieno l'intero processo con cui il cervello converte le informazioni visive
Immagini originali (in alto) e immagini di riconoscimento dell'attività cerebrale a diffusione stabile. Immagine: Yu Takagi, Shinji Nishimoto, bioRxiv
Questo non è il primo studio in cui gli scienziatiha utilizzato l'intelligenza artificiale per leggere le scansioni cerebrali e ricreare le immagini. Ma nel nuovo lavoro, hanno aggiunto un ulteriore passaggio: durante l'addestramento dell'IA, vengono utilizzate descrizioni testuali delle fotografie. Di conseguenza, l'algoritmo analizza non solo l'attività cerebrale associata alla visualizzazione delle immagini, ma anche la descrizione del testo. Questo ricorda algoritmi popolari come DALL-E 2 e Midjourney.
Per la diffusione stabile del riconoscimento del modelloutilizza i dati di scansione cerebrale della risonanza magnetica funzionale (fMRI) raccolti visualizzando varie immagini. Quando le persone guardano una fotografia, i lobi temporali analizzano le informazioni sul contenuto dell'immagine (persone, oggetti o paesaggi), mentre i lobi occipitali analizzano la posizione e la prospettiva, come la scala e la posizione del contenuto.
Per addestrare l'intelligenza artificiale, i ricercatori hanno utilizzato un setimmagini e modelli di attività cerebrale raccolti durante la visualizzazione. Con un semplice addestramento, l'algoritmo ha ricreato efficacemente la posizione degli oggetti e la prospettiva delle fotografie visualizzate, ma invece di oggetti reali al centro della composizione, ha disegnato forme astratte. Ma, dopo che gli scienziati hanno aggiunto descrizioni testuali alle fotografie utilizzate nella formazione, la qualità delle immagini generate è aumentata in modo significativo.
Immagine originale (sinistra) e immagini,ottenuto utilizzando algoritmi addestrati su dati visivi (z), testuali (c) e combinati (a destra). Immagine: Yu Takagi, Shinji Nishimoto, bioRxiv
I ricercatori notano che la combinazione di testoe i dati visivi durante l'addestramento consentono di ridurre significativamente la quantità di dati che devono essere utilizzati per addestrare il modello. Allo stesso tempo, notano che finora l'intelligenza artificiale è stata addestrata e testata solo su dati fMRI per quattro persone. Probabilmente, sarà necessario un campione di un gran numero di persone per creare un algoritmo universale.
Leggi di più:
Nominato una vitamina che protegge il cervello dalla demenza
Nominato un tipo di insonnia che riduce il rischio di demenza. Ma perché è sconosciuto.
Si è scoperto quali uomini sono i più fertili: il loro sperma è migliore del 50% rispetto al resto