신경과학자들은 뇌가 시각적 정보를 시각적 정보로 변환하는 전체 과정을 아직 완전히 이해하지 못하고 있습니다.
원본 이미지(상단) 및 안정 확산 뇌 활동 인식 이미지. 이미지: Yu Takagi, Shinji Nishimoto, bioRxiv
이것은 과학자들이 수행한 첫 번째 연구는 아닙니다.AI를 사용하여 뇌 스캔을 읽고 이미지를 재생성했습니다. 그러나 새로운 작업에서 그들은 추가 단계를 추가했습니다. AI를 훈련할 때 사진의 텍스트 설명이 사용됩니다. 결과적으로 알고리즘은 이미지 보기와 관련된 뇌 활동뿐만 아니라 텍스트 설명도 분석합니다. 이는 DALL-E 2 및 Midjourney와 같은 인기 있는 알고리즘을 연상시킵니다.
패턴 인식을 위한 안정적인 확산다양한 영상을 보고 수집한 fMRI(기능적 자기공명영상) 뇌 스캔 데이터를 활용합니다. 사람들이 사진을 볼 때 측두엽은 이미지의 내용(사람, 사물 또는 풍경)에 대한 정보를 분석하고 후두엽은 내용의 크기 및 위치와 같은 위치 및 관점을 분석합니다.
AI를 훈련시키기 위해 연구자들은 세트를 사용했습니다.그것을 보는 동안 수집된 뇌 활동의 사진과 패턴. 알고리즘은 간단한 훈련으로 물체의 위치와 보고 있는 사진의 원근을 효과적으로 재현했지만 구도의 중심에는 실제 물체 대신 추상적인 모양을 그렸습니다. 그러나 과학자들이 훈련에 사용된 사진에 텍스트 설명을 추가한 후 생성된 이미지의 품질이 크게 향상되었습니다.
원본 이미지(왼쪽)와 이미지,시각적(z), 텍스트(c) 및 결합된 데이터(오른쪽)에 대해 훈련된 알고리즘을 사용하여 획득했습니다. 이미지: Yu Takagi, Shinji Nishimoto, bioRxiv
연구원들은 텍스트 조합이교육 중 시각적 데이터를 사용하면 모델을 교육하는 데 사용해야 하는 데이터의 양을 크게 줄일 수 있습니다. 동시에 그들은 지금까지 AI가 4명의 fMRI 데이터에 대해서만 훈련되고 테스트되었다고 지적합니다. 아마도 범용 알고리즘을 생성하려면 많은 사람들의 샘플이 필요할 것입니다.
더 읽어보기 :
치매로부터 뇌를 보호하는 비타민으로 명명
치매의 위험을 줄이는 불면증의 한 유형으로 명명되었습니다. 그러나 왜 알려지지 않았습니다.
어떤 남성이 가장 비옥한지 밝혀졌습니다. 그들의 정자는 나머지보다 50% 더 좋습니다