המפתחים מדווחים שה-AI למד מיומנויות בסיסיות כמו כריתת עצים, יצירת קרשים ו
לאימון בינה מלאכותית, צוות OpenAI השתמשסרטונים פתוחים: כ-70,000 שעות של צילומי משחק. כדי להתמודד עם נפח זה, החברה פיתחה אסטרטגיה חדשה: אימון מקדים עם "חצי מורה".
תכנית למידה.השלב הראשון הוא חיפוש וידאו לאימון, השלב השני הוא אימון הרשת העצבית IDM על בסיס הסרטון המכיל מידע על תנועות עכבר והקשות, השלב השלישי הוא סימון וידאו באמצעות IDM ואימון הרשת העצבית של המשחק. מקור: OpenAI
בשלב הראשון, החוקרים אספו נתונים ממתנדבים: הם הקליטו משחקי וידאו, כמו גם הקשות ותנועות עכבר. בהתבסס על נתונים אלה, המפתחים אימנו את מודל הדינמיקה ההפוכה (IDM) כדי לקבוע אילו פעולות הנגן מבצע על סמך נתוני וידאו בלבד. לאחר מכן, IDM "צפה" וסימנה באופן עצמאי את הקלטות המשחק שפורסמו ביוטיוב. אימון AI במשחק מתבצע באמצעות נתוני IDM שכבר מסומנים.
המפתחים מציינים כי המודל ההתנהגותישיבוט ("שחקן") שהוכשר על סרטון מקוון מתויג IDM מבצע משימות ב-Minecraft שכמעט בלתי אפשרי להשלים עם לימוד חיזוק מסורתי מאפס. הוא לומד לכרות עצים כדי לאסוף בולי עץ, להפוך את בולי העץ האלה לקרשים, ואז להכין שולחן יצירה מהקרשים. רצף זה לוקח בערך 50 שניות או אלף פעולות משחק רצופות עבור אדם שבבעלותו Minecraft.
המפתחים גם הראו שכוונון נוסף באמצעות תצפית בינה מלאכותית על תהליך המשחק בפועל עוזר ללמד במהירות את המודל מיומנויות מורכבות יותר.
חוקרים מציינים שמיינקראפט כןרק דוגמה אחת ליישומים האפשריים של הטכנולוגיה החדשה. באופן כללי, אימון מקדים מאפשר ל-AI להשתמש במשאבים מינימליים כדי לרכוש מיומנויות שונות המבוססות על כמות גדולה של נתוני וידאו.
קרא עוד:
גשושית החלל טסה 200 ק"מ ממרקורי. תראה מה הוא ראה
קסדת קריאת מחשבות סינית משמיעה אזעקה כאשר אדם רואה תוכן פורנו
הלוויין של צדק נבחן באור חדש: מה שמדענים ראו שם