מדעני מוח עדיין לא מבינים עד הסוף את כל התהליך של האופן שבו המוח ממיר מידע חזותי
תמונות מקוריות (למעלה) ותמונות זיהוי פעילות המוח של דיפוזיה יציבה. תמונה: Yu Takagi, Shinji Nishimoto, bioRxiv
זה לא המחקר הראשון שבו מדעניםהשתמש ב-AI כדי לקרוא סריקות מוח וליצור מחדש את התמונות. אבל בעבודה החדשה הם הוסיפו שלב נוסף: בעת אימון AI, נעשה שימוש בתיאורים טקסטואליים של תצלומים. כתוצאה מכך, האלגוריתם מנתח לא רק את פעילות המוח הקשורה לצפייה בתמונות, אלא גם את תיאור הטקסט. זה מזכיר אלגוריתמים פופולריים כמו DALL-E 2 ו-Midjourney.
לפיזור יציב לזיהוי תבניותמשתמש בהדמיית תהודה מגנטית פונקציונלית (fMRI) בנתוני סריקת מוח שנאספו על ידי צפייה בתמונות שונות. כאשר אנשים מתבוננים בתצלום, האונות הטמפורליות מנתחות מידע על תוכן התמונה (אנשים, חפצים או נוף), בעוד האונות העורפית מנתחות מיקום ופרספקטיבה, כגון קנה המידה והמיקום של התוכן.
כדי לאמן את ה-AI, החוקרים השתמשו בסטתמונות ודפוסים של פעילות מוחית שנאספו תוך כדי צפייה בהם. בעזרת אימון פשוט, האלגוריתם שיחזר ביעילות את מיקומם של האובייקטים ואת הפרספקטיבה של התצלומים הנצפים, אך במקום אובייקטים אמיתיים במרכז הקומפוזיציה, הוא צייר צורות מופשטות. אבל, לאחר שהמדענים הוסיפו תיאורים טקסטואליים לתמונות ששימשו באימון, איכות התמונות שנוצרו עלתה באופן משמעותי.
תמונה מקורית (משמאל) ותמונות,מתקבל באמצעות אלגוריתמים מאומנים על חזותית (z), טקסט (ג) ונתונים משולבים (מימין). תמונה: Yu Takagi, Shinji Nishimoto, bioRxiv
החוקרים מציינים כי השילוב של טקסטונתונים חזותיים במהלך האימון מאפשרים לך להפחית משמעותית את כמות הנתונים שיש להשתמש בהם כדי לאמן את המודל. יחד עם זאת, הם מציינים שעד כה ה-AI הוכשר ונבדק על נתוני fMRI עבור ארבעה אנשים בלבד. ככל הנראה, תידרש דגימה ממספר רב של אנשים כדי ליצור אלגוריתם אוניברסלי.
קרא עוד:
נקרא ויטמין המגן על המוח מפני דמנציה
נקרא סוג של נדודי שינה המפחית את הסיכון לדמנציה. אבל למה לא ידוע.
התברר אילו גברים הם הפוריים ביותר: הזרע שלהם טוב ב-50% מהשאר