AI werd geleerd om te bepalen wat een persoon ziet op basis van "gedachten lezen"

Neurowetenschappers begrijpen nog steeds niet volledig het hele proces van hoe de hersenen visuele informatie omzetten in

gedachten.Maar dit weerhoudt AI er niet van dit proces te imiteren. Japanse wetenschappers hebben algoritmen gecombineerd die tekst in afbeeldingen omzetten en een systeem voor het analyseren van hersenactiviteit. De AI van Stable Diffusion scant de hersenen van een persoon en reconstrueert relatief realistische versies van de beelden die hij of zij heeft gezien.

Originele afbeeldingen (boven) en stabiele diffusie-hersenactiviteitherkenningsafbeeldingen. Afbeelding: Yu Takagi, Shinji Nishimoto, bioRxiv

Dit is niet de eerste studie waarin wetenschappersgebruikte AI om hersenscans te lezen en de beelden opnieuw te maken. Maar in het nieuwe werk voegden ze een extra stap toe: bij het trainen van AI worden tekstuele beschrijvingen van foto's gebruikt. Als gevolg hiervan analyseert het algoritme niet alleen de hersenactiviteit die gepaard gaat met het bekijken van afbeeldingen, maar ook de tekstbeschrijving. Dit doet denken aan populaire algoritmen als DALL-E 2 en Midjourney.

Voor patroonherkenning stabiele diffusiemaakt gebruik van functionele magnetische resonantiebeeldvorming (fMRI) hersenscangegevens die zijn verzameld door verschillende afbeeldingen te bekijken. Wanneer mensen naar een foto kijken, analyseren de temporale kwabben informatie over de inhoud van het beeld (mensen, objecten of landschappen), terwijl de achterhoofdskwabben locatie en perspectief analyseren, zoals de schaal en positie van de inhoud.

Om de AI te trainen, gebruikten de onderzoekers een setfoto's en patronen van hersenactiviteit verzameld tijdens het bekijken ervan. Met eenvoudige training herschepte het algoritme effectief de locatie van objecten en het perspectief van de foto's die werden bekeken, maar in plaats van echte objecten in het midden van de compositie, tekende het abstracte vormen. Maar nadat de wetenschappers tekstbeschrijvingen hadden toegevoegd aan de foto's die in de training werden gebruikt, nam de kwaliteit van de gegenereerde afbeeldingen aanzienlijk toe.

Originele afbeelding (links) en afbeeldingen,verkregen met behulp van algoritmen die zijn getraind op visuele (z), tekst (c) en gecombineerde gegevens (rechts). Afbeelding: Yu Takagi, Shinji Nishimoto, bioRxiv

De onderzoekers merken op dat de combinatie van teksten visuele gegevens tijdens de training stelt u in staat om de hoeveelheid gegevens die moet worden gebruikt om het model te trainen aanzienlijk te verminderen. Tegelijkertijd merken ze op dat de AI tot nu toe alleen voor vier personen is getraind en getest op fMRI-gegevens. Waarschijnlijk is een steekproef van een groot aantal mensen nodig om een ​​universeel algoritme te maken.

Lees verder:

Een vitamine genoemd die de hersenen beschermt tegen dementie

Genoemd naar een vorm van slapeloosheid die het risico op dementie vermindert. Maar waarom is onbekend.

Het bleek welke mannen het meest vruchtbaar zijn: hun sperma is 50% beter dan de rest