מפתחים מ-Facebook AI ו-13 אוניברסיטאות אחרות יצרו את מערך הנתונים הנרחב ביותר של סרטונים שצולמו
855 מתוך 74 מתנדבים השתתפו באיסוף הנתוניםערים ו-9 מדינות. הם צילמו סרטונים עם מצלמה ומשקפיים חכמות. במהלך הצילומים המשתתפים עברו על פעילותם היומיומית: הכנת אוכל, בחירת מצרכים בחנות, תקשורת עם אנשים אחרים. האורך הכולל של הרשומות היה 3,025 שעות.
לכל סרטון בודד יש תיאור של מהמה קורה בו. כמו כן עבור חלק מהסרטון יש נתונים מפורטים נוספים על הסאונד, דגם תלת מימדי של החדר, כיוון הראייה וכן פריימים סטריאוסקופיים שצולמו במצלמת סטריאו לבישה מאדם אחד וערכת סרטונים מסונכרנים שנעשו על ידי אנשים שונים במקום אחד ובו זמנית, למשל, זמן משחקי לוח.
כמו כן, באמצעות הנתונים שנאספו, אתה יכול ללמוד מיומנויות ספציפיות, עבור זה נוצרו מודולים נושאיים מיוחדים:
- לאימון זיכרון אפיזודי, כאשר האלגוריתם חייב לענות על השאלה לגבי האירועים שהתרחשו, למשל באיזו שעה קיבלתי תור לרופא אתמול.
- חיזוי פעולות עתידיות, למשל, לזכור להמליח צלחת או הוצאת דברים ממכונת הכביסה.
- הבנת מה אדם עושה ואיך חפצים נעים בפריים.
- מעקב אחר השיחה והבנה מי אמר מה בשיחה.
- ניתוח של האינטראקציה בין אנשים, בפרט ההבנה שמסתכלים או פונים אל נושא המצלמה.
המחברים מתכננים לפרסם את מערך הנתונים עד סוף נובמבר 2021; הוא יהיה זמין לאחר שהמשתמש יחתום על הסכם הרישיון.
קרא עוד
הוקינג צדק, אך לפעמים טעה: הרעיונות הנועזים ביותר של המדען
אסטרונומים הבינו שכדור הארץ ומערכת השמש נמצאים במנהרה מגנטית ענקית
ממותה קפואה וגבר ב"אספלט ": איך הטבע עוצר את הזמן