המורה שלך: איך אלגוריתמים לומדים ללא עזרה אנושית ועושים מזל"טים טובים יותר

כלי רכב בלתי מאוישים, תאומים דיגיטליים ושליטה אוטומטית בתקשורת אינם

תחזיות של סופרי מדע בדיוני, וכברעתיד קרוב. מקרבים אותו על ידי מדענים העוסקים בבינה מלאכותית יישומית ובמחקר בתחום למידת החיזוק. היי-טק שוחח על עתיד הטכנולוגיה עם אולג סווידצ'נקו, אלכסנדר גרישין ואלכסיי שפילמן, זוכי פרס סגלוביץ' השנתי.

איך AI לומד בלי מנטור

לימוד עם חיזוקים,RL) מניח שה-AI עצמו מקיים אינטראקציה עם סביבה מסוימת - למשל, לוח למשחק Go או לעולם החיצון אם הרובוט נע לאורכו. המכשיר צריך לזהות דפוסים נפוצים ולהתמקד בהם בעת ביצוע משימות. וכאשר לומדים עם "מורה" אתה צריך אדם שחייב לציין את הפעולה הנכונה שבה יתאמן ה-AI.

"המהות של RL היא שהמכונה או, כפי שאנו אומרים,סוכן, לומד בצורה של תרגול מתמיד", מציין אולג סווידצ'נקו, חתן פרס יאנדקס למדע. - AI ממוקם בתנאים מסוימים ו"דבר" - פועל. זה דומה למצב שבו עכבר הולך לחפש גבינה במבוך. לאחר שעשה פנייה בכיוון הלא נכון, החיה מתנגשת בקיר, חוזרת, מנסה שוב, וכן הלאה. במקרה של למידה תגבורת, צעדים נכונים מתוגמלים. ככל שהפעולה נכונה יותר, כך ה-AI יקבל יותר נקודות. אם הבחירה התבררה כשגויה, הסוכן מאבד נקודות. במהלך האימון, המכונה זוכרת איזה שילוב של פעולות היה רווחי יותר, ובפעם הבאה היא תשתמש בו".

חיפוש עצמאי אחר פתרון מאפשר לסוכןבמוקדם או במאוחר לעלות על האיש. כך הראה, למשל, האלגוריתם MuZero של DeepMind, שלמד לשחק עשרות משחקי וידאו ישנים של Atari, שחמט ומשחקי לוח מסוג Go. כדי ליצור אותו, הם השתמשו בפיתוחים קודמים של החברה: למשל, AlphaGo, שבזכותה ניתן היה לנצח את אלוף ה-Go Lee Sedol, ו-AlphaZero, המשמשת בשחמט. האלגוריתם המשופר שואב יותר מידע מפחות נתונים - כעת הוא זקוק לחצי משלבי האימון.

אלגוריתמים למידת חיזוק יכוליםשימושי במגוון תעשיות. למשל ברפואה - לארגון טיפול דינמי מותאם אישית, בתעשיית הבידור - לבדיקה אוטומטית של משחקי מחשב, או בתעופה - לשליטה אוטונומית בבלון סטרטוספרי.

באילו תחומים AI יבוא לעזרת אנשים

דיגיטליזציה של הקמעונאות: חנויות אוטומטיות לחלוטין

למידת המכונה הראשונה מיושמת בתעשיותשבו מתבצע ניפוי באגים בתהליך האיסוף והדיגיטציה של כמויות גדולות של נתונים. לדוגמה, בקמעונאות, כל המידע עובר דרך קופות רושמות, מה שאומר של-AI יש עם מה לעבוד. לדברי אלכסיי שפילמן, השימוש באלגוריתמי AI יאפשר ליצור חנויות אוטומטיות בכל מקום, בהן כל התהליכים יתקיימו ללא התערבות אנושית.

פורמט זה נבדק כבר בשנת 2016.חברת אמזון. הקונה לוקח את העגלה, אוסף בה סחורה ופשוט יוצא - הכסף עבור הרכישה מחויב מהכרטיס באופן אוטומטי. ברוסיה, פרויקט דומה פותח על ידי Azbuka Vkusa.

"הקונה לוקח את העגלה, אוסף בה סחורה ופשוט עוזב - הכסף עבור הרכישה מחויב מהכרטיס באופן אוטומטי"

ניהול תקשורת: זיהוי תקלות ברשת 

הודות ללימוד תגבורפריצות דרך טכנולוגיות יכולות להתרחש בניהול רשתות שונות - תקשורת, רשתות חימום, תעשיית חשמל. תהליכים רבים כאן די קל לבצע רובוט, מכיוון שאין הרבה אינטראקציה עם אנשים.

אוטומציה תוביל ליצירת מערכות אשריקבל החלטות מושכלות יותר וייעל את צריכת האנרגיה. לדוגמה, בהתבסס על אלגוריתמי RL, מפתחים בקר HVAC (ראשי תיבות של Heating, Ventilation, & Air Conditioning - Heating, אוורור ומיזוג אוויר) - זוהי מערכת בקרת טמפרטורת החדר ואוורור. שימוש בטכנולוגיה זו בעסקים יסייע גם לחסוך בצריכת אנרגיה וגם להפחית את פליטת הפחמן.

כלי רכב בלתי מאוישים: בדיקות טכנולוגיה וחקיקה

תחום נוסף שמחכה לפריצת דרך בזכותלמידת תגבור - תחבורה. כבר היום ניתן למצוא ברחובות כלי רכב בלתי מאוישים ורובוטי מסירה. למרות ההתקדמות הטכנולוגית בתעשייה, אנליסטים של מקינזי צופים כי מזל"טים לא יהפכו למיינסטרים עד 2030 לכל המוקדם. היישום מסובך בגלל הצורך בפיתוח תקנות. בסינגפור ובארה"ב, הובלה אוטומטית כבר בעיצומה לאורך הכבישים המהירים, ולאחרונה הופיע אישור לבחון מונית בלתי מאוישת ברוסיה.

"אוטומציה כמעט תמיד משתפרתאבטחה, אבל אנשים מברכים על הכנסת טכנולוגיות כאלה בפחד", בטוח אולג סווידצ'נקו. — אם תחליף את כל התחבורה בטסלות בלתי מאוישות, מספר התאונות בכבישים ירד פי כמה. אבל כל תאונה תעלה שאלות רבות. איננו יכולים לומר בוודאות, כמו במקרה של אדם, מה גרם לתאונה. ואנשים מפחדים מהלא נודע הזה".

"תחום נוסף שמחכה לפריצת דרך הודות ללימוד תגבור הוא תחבורה"

כיצד תאומים דיגיטליים יהיו שימושיים לאנושות

אלגוריתמי למידת חיזוק אפשרו זאתליצור תאומים דיגיטליים - אבות טיפוס וירטואליים של אובייקטים, תהליכים ואפילו אנשים המכילים את אותם מאפיינים ומאפיינים כמו המקור. מפעלים תעשייתיים משתמשים בטכנולוגיה זו, למשל, כדי לבדוק אם כל התהליכים מותאמים כראוי לפני השקת מסוע חדש. כמובן, אתה יכול מיד להכניס את התקע לשקע, אבל אם מתרחש כשל, ייקח זמן ומשאבים לתקן אותו. לכן, המסוע מופעל לראשונה במחשב. 

הכל הרבה יותר טוב עם תאומים דיגיטליים אנושייםקשה יותר, כי אורגניזם חי הוא מערכת מורכבת יותר. ועדיין, מדענים ממשיכים לשלוט בטכנולוגיה, וליצור עותקים וירטואליים של איברים בודדים ושל האורגניזם כולו. לדוגמה, בית חולים בבוסטון משתמש בתאום דיגיטלי של הלב כדי לתכנן ניתוחים. בעתיד, הדבר יאפשר בדיקת שיטות טיפול בחולה וירטואלי, חיזוי מחלות, וייתכן בהחלט כי מדובר במהפכה ברפואה.

"הפיתוח של AI, כולל RL, יכול להוביל לכךהעובדה שאנשים יתחילו להבין את עצמם טוב יותר", מציע אלכסי שפילמן. "האדם הוא מערכת סגורה, מכיוון שאנו משתמשים במוח שלנו לידע עצמי. אבל האם הכלי הזה מספיק לנו? גם בפסיכולוגיה דרושים שני אנשים לרפלקציה, ואנחנו סגורים בתוך עצמנו. בעולם, בהקשר של היקום, האנושות עדיין לבדה, מה שאומר שאין לנו עם מי לדבר כדי ללמוד משהו חדש על עצמנו ולהסתכל מבחוץ. אולי, הודות ללמידת תגבור, ניצור איזושהי ישות מחוץ לעצמנו. זה לא יהיה מוגבל על ידי המוח והתודעה שלנו ויוכל לתת לאדם תשובות ומשמעויות חדשות".

מדוע היישום הנרחב של RL עדיין מוגבל

למרות ההתקדמות שעשו מדענים, היישום המעשי של RL עדיין מוגבל. למערכת לוקח הרבה זמן ללמוד ועושה הרבה טעויות, ולכן יישום האלגוריתם בכל מקום הוא קשה ולא משתלם.

"הסוכן צריך יותר חזרות, אז התהליךהלמידה לוקחת די הרבה זמן, - מסביר אלכסנדר גרישין - יתרה מכך, זה לא מספיק עבור AI כדי לבצע את הפעולה הטובה ביותר. הוא צריך לחקור את הסביבה, מכיוון שפרס גדול עשוי להסתתר מאחורי מהלכים לא אטרקטיביים כרגע. כל ההיגיון של למידת חיזוק מסתכם בעובדה שבינה מלאכותית לומדת להקריב יתרונות לטווח קצר להצלחה ארוכת טווח. כדי לעשות זאת, אתה צריך לחשוב קדימה ולחשב תרחישים אפשריים להתפתחות אירועים. למשל, כשהסוכן יוותר על האביר כדי ללכוד את המלכה, המדענים ישמחו מאוד".

המשימה של המדענים היא להבטיח שה-AI יגדלקצב למידה ושיפור יכולת הניתוח. אבל בעיה ארצית אחת מונעת התקדמות מהירה: יש מחסור בצוות במעבדות מו"פ ובחברות IT. אוניברסיטאות יוצרות מעבדות ומרכזי מחקר, ענקיות טכנולוגיה פותחות קורסים מיוחדים.

"מחקר בלמידת מכונה עכשיומאוד מבוקש. הענף מתפתח במהירות, והמחסור בכוח אדם גובר מדי יום", אומר אלכסיי שפילמן. "למומחים יש סיכוי גדול להיות מעורב בתהליכים שישנו את העולם ללא הכר. הרבה עבודה מעניינת. עכשיו אנחנו ממש בתחילת הדרך, אבל כבר השגנו תוצאות טובות. האם אתה יכול לדמיין אילו סיכויים ייפתחו לאנושות באמצעות השימוש ב-RL?

קרא עוד:

גשושית החלל טסה 200 ק"מ ממרקורי. תראה מה הוא ראה

מדענים חושפים כיצד ויטמינים משפיעים על שכיחות הסרטן

קסדת קריאת מחשבות סינית משמיעה אזעקה כאשר אדם רואה תוכן פורנו