Структуры искусственных нейронных сетей и нейронов в живом организме основаны на тех же принципах. Узлы в
"לפני מספר שנים ערכנו אפקטיביותוכימות חסכונית של משקלים ברשת הופפילד. זוהי רשת זיכרון אסוציאטיבית עם קשרים סימטריים בין אלמנטים שנוצרים בהתאם לכלל של Hebb. במהלך פעולתה, פעילות הרשת מצטמצמת למצב מסוים של שיווי משקל, וכאשר היא מושגת, הבעיה נחשבת כפתורה. הממצאים ממחקר זה יושמו מאוחר יותר על רשתות הזנה קדימה של למידה עמוקה, שהן פופולריות מאוד בזיהוי תמונות כיום. בדרך כלל, הרשתות הללו דורשות הכשרה מחדש לאחר קוונטיזציה, אבל מצאנו דרך להימנע מכך".
יעקב קרנדשב, מועמד למדעים, פרופסור חבר באוניברסיטת RUDN.
הרעיון הבסיסי שעומד מאחורי פשט עצבים מלאכותייםרשתות - זהו מה שמכונה כימות משקולות, כלומר צמצום מספר הביטים לכל משקל. כימות כוללת ממוצע של האות: למשל, אם מוחל על תמונה, כל הפיקסלים המייצגים גוונים שונים של אותו צבע יהפכו זהים. מבחינה מתמטית, המשמעות היא שלקשרים עצביים הדומים בפרמטרים מסוימים צריך להיות אותו משקל (או חשיבות), המתבטא כמספר.
צוות מתמטיקאים מאוניברסיטת RUDN ביצע חישובים ויצר נוסחאות שמבססות ביעילות מתאמים בין משקולות ברשת עצבית לפני ואחרי הכימות. על בסיסם פיתחו מדענים אלגוריתמים איתם רשת עצבית מאומנת יכולה לסווג תמונות. בניסוי שלהם השתמשו המתמטיקאים בחבילת טקסט של 50,000 תצלומים שניתן לחלק ל -1,000 קבוצות. לאחר האימון, כימתה את הרשת בשיטה החדשה ולא עברה הסבה מקצועית מחדש. לאחר מכן הושוו התוצאות עם אלגוריתמי קוונטיזציה אחרים.
לאחר כימות, דיוק הסיווגירד ב -1% בלבד, אך נפח האחסון הנדרש הופחת פי שש. ניסויים מראים שרשת זו אינה מצריכה הכשרה מחודשת בגלל המתאם החזק בין המשקלים המקוריים לכמותים. גישה זו יכולה לסייע בחיסכון במשאבים בעת ביצוע משימות דחופות או עבודה במכשירים ניידים.
קרא עוד:
מנוע רקטות גרעיני נבנה לטיסות למאדים. איך זה מסוכן?
תסתכל על תמונת 8 טריליון הפיקסלים של מאדים.
אבק הירח הוא קטלני לבני אדם. לוויין כדור הארץ אינו מתאים להתיישבות?
הפלה ומדע: מה יקרה לילדים שילדו.