Sinirbilimciler beynin görsel bilgiyi görsele nasıl dönüştürdüğüne dair sürecin tamamını hâlâ tam olarak anlayamıyorlar.
Orijinal görüntüler (üstte) ve Kararlı Difüzyon beyin aktivitesi tanıma görüntüleri. Resim: Yu Takagi, Shinji Nishimoto, bioRxiv
Bu, bilim insanlarının katıldığı ilk çalışma değil.beyin taramalarını okumak ve görüntüleri yeniden oluşturmak için yapay zekayı kullandı. Ancak yeni çalışmada ek bir adım daha eklediler: Yapay zekayı eğitirken fotoğrafların metinsel açıklamaları kullanılıyor. Sonuç olarak, algoritma yalnızca görüntülerin izlenmesiyle ilişkili beyin aktivitesini değil, aynı zamanda metin açıklamasını da analiz eder. Bu, DALL-E 2 ve Midjourney gibi popüler algoritmaları anımsatıyor.
Örüntü Tanıma Kararlı Difüzyon içinçeşitli görüntüleri görüntüleyerek toplanan fonksiyonel manyetik rezonans görüntüleme (fMRI) beyin taraması verilerini kullanır. İnsanlar bir fotoğrafa baktıklarında, şakak lobları görüntünün içeriği (insanlar, nesneler veya manzara) hakkındaki bilgileri analiz ederken, oksipital loblar içeriğin ölçeği ve konumu gibi konumu ve perspektifi analiz eder.
AI'yı eğitmek için araştırmacılar bir set kullandılar.onları görüntülerken toplanan beyin aktivitesi resimleri ve kalıpları. Algoritma, basit bir eğitimle nesnelerin konumunu ve görüntülenen fotoğrafların perspektifini etkili bir şekilde yeniden yarattı, ancak kompozisyonun merkezindeki gerçek nesneler yerine soyut şekiller çizdi. Ancak bilim adamları eğitimde kullanılan fotoğraflara metinsel açıklamalar ekledikten sonra, oluşturulan görüntülerin kalitesi önemli ölçüde arttı.
Orijinal görüntü (solda) ve görüntüler,görsel (z), metin (c) ve birleşik veriler (sağda) üzerinde eğitilmiş algoritmalar kullanılarak elde edilmiştir. Resim: Yu Takagi, Shinji Nishimoto, bioRxiv
Araştırmacılar, metin kombinasyonununve eğitim sırasında görsel veriler, modeli eğitmek için kullanılması gereken veri miktarını önemli ölçüde azaltmanıza olanak tanır. Aynı zamanda, AI'nın şimdiye kadar yalnızca dört kişi için fMRI verileri üzerinde eğitildiğini ve test edildiğini belirtiyorlar. Muhtemelen, evrensel bir algoritma oluşturmak için çok sayıda insandan bir örneklem gerekecektir.
Daha fazla oku:
Beyni bunamadan koruyan bir vitamin olarak adlandırıldı
Bunama riskini azaltan bir uykusuzluk türü olarak adlandırılmıştır. Ama neden bilinmiyor.
Hangi erkeklerin en doğurgan olduğu ortaya çıktı: spermleri diğerlerinden %50 daha iyi