האם זמזום יכול לשקר?
- נושא ההרצאה שלך הוא "למה אנחנו מכריחים רובוטים לשקר." טמון בקלאסיקה שלו
- במקרה שלנו, שקר הוא כאשר מידע עלהאופן שבו העולם האמיתי פועל אינו תואם את מה שאנו קוראים ומשדרים מבחוץ. מאיזו סיבה? החיישן שלנו מקולקל ואנחנו באמת רואים את זה ככה, או שאנחנו מזייפים אותו למען הזיוף, או מסיבה אחרת. כשאנחנו מתקשרים, אני יכול לשקר. כי אני טועה במסקנות שלי או רואה רע. זה לא משנה לך, המידע הזה יהיה שקרי עבורך בכל מקרה. לכן בדקנו שיטות בקרה שהופכות את המערכת לבטוחה.
- כאשר אתה מדבר על רובוטים ו "רב סוכן מערכות", אתה מתכוון כלי רכב ללא טייס?
- לא, זה רק היעד הפופולרי ביותר. עכשיו הנושאים הפופולריים ביותר הם כלי טיס בלתי מאוישים.
- האם אתה בודק פתרונות לבעיות שעלולות להתעורר?
- יש לנו שתי רמות. ברמה הראשונה, אנחנו מסתכלים על מה המידע נוסע בתוך הזמזום, כי המידע מן החיישנים עדיין מעובד לפני שהוא מגיע למכשיר המחשוב. ברמה השנייה, המידע מוחלף בין המזל"טים, ואנחנו בודקים אותו. אנחנו מסתכלים על איך זה קשור לעולם האמיתי.
- מזל"ט הם עכשיו שונים - צבאיים, אזרחיים ואחרים. האם מזל"ט מחליפים מידע זה עם זה - האם זה מעמד מסוים?
- לא, למעשה, כולם יכולים להחליף.אני בכנות לא מכיר מכשיר מזל"ט אחד שלא חולק מידע. גם כאשר אתה שולט עם השלט, אתה עדיין יכול להשיג אותו. זו הסיבה שאנחנו עובדים ברמת הפשטה גבוהה למדי באמצעות מימושים פרטיים, אבל באופן כללי אלו פתרונות כלליים למדי - גנריות, כמו שאומרים.
- במהלך השנה האחרונה ראינו מקרים שבהם מזל"טיצר בעיות עבור אנשים. מל"טים שיכולים לקרוס לתוך מטוסים, מזל"טים שחסמו את המסלולים. האם ניתן למנוע איכשהו מצבים כאלה?
- אם הוא נשלט על ידי האדם, אז רקדרך - פשוט להפיל אותו. כלומר, להשתלט, לגרום לו לעשות מה שאנחנו רוצים, או פשוט להרוס פיזית. אם הזמזום נרכש, בתחילה כבר התאספו על ידי מישהו, ואנחנו לנהל את זה על ידי מותאם אישית, אז אתה יכול לנטרל, בידיעה אלה אלגוריתמים סטנדרטיים. אבל עכשיו כדי להרכיב מזל"ט היא משימה עבור היסודי באוניברסיטה או בתיכון קורסים. הרבה מדריכים, חלקים ניתן לרכוש ללא בעיות, זה לא יקר מאוד. לכן, את ההיגיון כי יהיה בתוך מזל"ט כזה לא יכול להיות סטנדרטי לחלוטין.
- אמרת על יירוט השליטה. במידת האפשר, מה נדרש עבור זה?
- אם ניקח בחשבון כמה לרכושהמערכת, אנו מכירים את הפרוטוקולים שבהם הוא מתקשר. בתיאוריה, אנחנו יכולים להחליף את לוח הבקרה. אבל זו משימה לא טריוויאלית. מנקודת המבט של ההנדסה והמדע, זה יכול להיעשות. בפועל, זו משימה הנדסית קשה מאוד. אבל פתיר.
- עכשיו אף אחד לא יודע איך לעשות את זה?
- עד כמה שאני יודע, אף אחד. בכל מקרה, מידע זה אינו זמין לציבור.
- אילו בעיות אחרות אתה רואה שעשויות להתרחש בעתיד הקרוב, אם אנחנו מדברים על מזל"ט?
— מבחינתי, כמאבטח, הבעיה העיקרית היאשהמערכת לא תתפקד כמו שאנשים רוצים. אני לא מדבר על ה"מטריקס", אלא על העובדה שבאיזשהו מקום עלולים להפר את ההיגיון וההתנהגות של המערכת. אנחנו רוצים לראות תוצאה אחת, אבל תהיה אחרת. באופן גס, אנחנו רוצים לבנות אצטדיון מהמל"טים האלה. הבעיה העיקרית היא שהלבנה בבסיס לא תוצב לפי הצורך. כלומר, נבנה אצטדיון באופן גלובלי, אבל הסטיות הקטנות הללו בתוך המבנה יובילו לקריסה של כל המבנה.
- אם אנחנו לתכנת את כל התוכנה עבור מזל"ט אלה, מה הסיבה שהם יכולים לשים לבנים אלה לא בסדר?
- תראה, עולם המחשבים מורכב מאפסים והאחד, הכל ברור. הצגנו את ההיגיון הזה וקיבלנו תשובה. העולם הפיזי מורכב מטווח של ערכים מאפס לאחד. מה שאנו מדמיינים ברמת החישוב אולי לא יתורגם לעולם האמיתי. זוהר של שמש, משב רוח והלבנה כבר לא היו מיושרות כהלכה. זוהי המשימה של ענף חדש במדע – בטיחות תפקודית, הנגזרת מבטיחות מידע, כאשר אנו מנסים להסתגל לפעולות הסביבה ולפתח פתרון שיאפשר לנו להרכיב לבנה ללא קשר לגורמים חיצוניים. וזו משימה קשה. יש לזה פתרונות, אבל אף אחד מהם לא מבטיח הצלחה לחלוטין.
- ב מלכודות גישה המונית הופיע לא כל כך מזמן. האם אתה חושב שהמצב ימשיך להיות זהה, שאני יכול ללכת ולקנות מזל"ט? עכשיו נחשב צעצוע, זה יכול לשנות?
- אני לא עורך דין, אבל, בצורה ידידותית, צריך להיותהציג כמה הגבלות. מתוך הסדרה "לקנות מזל"ט גדול ללא מסמכים, רישיונות ודברים אחרים לא בסדר". קנה זמזום צעצוע? למה לא, הוא לא סביר לגרום נזק רב. הנה שוב, הסיפור הוא שאם אתה רוצה, הכל יכול להיות עטוף באור שלילי. לכן, אני, אדם שקשור למדע, הייתי רוצה שהכל יהיה זמין לציבור. אבל מי שהולך ברחובות היה רוצה להטיל הגבלות סבירות. זה הגיוני.
אינטליגנציה נחיל - ברובוטים ובני אדם
- היית מעורב בניבוי התנהגות של אנשים.במצבי חירום ומדמה אותו על בסיס הטרגדיה ב"סוס הצולע ". ברור כיצד ניתן ליצור מודל בר דיגיטלי. אבל איך אתה יכול לנבא התנהגות של אנשים? בהתבסס על אילו נתונים?
- לא, למעשה. האדם נוהג באופן די ספונטני, במיוחד במקרים של חירום. אבל יש לנו היפותזה, אשר בדקנו על ידי דוגמנות על המצב שהתרחש.
- איך דגמת התנהגות של אנשים? התוצאות שלך היו מאוד קרובות למציאות.
- אם אנחנו מדברים על ההיגיון כי הוא שםpawned, זה מה שנקרא כביכול אינטליגנציה. Motion ממוצעים, מבחר של מנהיגים מותנים, תנועה ליציאות וכן הלאה. זהו עיקרון טריוויאלי. באופן כללי, את העיקרון של כל אינטליגנציה - יש לנו חלקיק שיכול להתנהג מטופש מאוד, יש עקרונות בנאליים מאוד פשוטה. אבל בסופו של דבר, האפקט מתקבל כאשר המערכת כולה מתנהגת בצורה אינטליגנטית ביותר.
- אתה מדבר עכשיו במונחים יותר ישים הטכנולוגיה. אם אנחנו מדברים על אנשים, זה אותו הדבר?
- הרובוט בנוי על עקרונות האדם. אם אני לוקח מערכת מאדם ומחיל אותה על רובוט, אז לפחות אני יכול ליישם את המערכת מרובוט לאדם. בתחום ה- IT, כללים אלה מנוסחים במשך זמן רב מאוד. לפחות מאז 1986.
- למעשה, הוכחת כי זה עובד בציבור?
- כן, ניסינו, וזה עובד. אני לא סוציולוג ולא פסיכולוג, אבל נראה לי שהתוצאה מנקודת המבט של ניסוי מדעי התבררה כנכונה: אדם במצב חירום יורד לרמת התנהגות בנאלית למדי. וזה ברמה בנאלית ניתן להעתיק מן ההתנהגות של ציפורים, בתנאים. באופן עקרוני, התברר.
"מוטב שארגו אותי מהילד": האתיקה של המל"טים
דיברת על נושאים אתייםמל"טים ואת הדילמה של בחירה אם הם צריכים להרוג מישהו. בעיית העגלה אינה אפשרית במציאות. אבל באופן כללי, אתה חושב שאתה צריך לתכנת דברים כאלה? והאם הם יכולים להתרחש בחיים האמיתיים?
- הם בהחלט יתעוררו בחיים האמיתיים, ואם אנחנו לא לתכנת את זה, מה יקרה אז? תראו, פיתחנו אלגוריתם, המכונה מתפקדת, הכל הולך, ואז קורה שהסבתא והילד רצים מקצות שונים של הכביש. אם לא נניח את ההיגיון של ההתנהגות במקרה זה, אזי ננטול על עצמנו את האחריות המוסרית. זה צעד לקראת פחדנות, אני חושב.
הסרגל הצידי
"אם לא נציב מודל מסוים של התנהגות במערכת בלתי מאוישת במצב כזה, מה היא תעשה?"
- זה תלוי במערכת. אולי הוא ינסה למזער את הסיכונים שלו, ובתנאי, להפיל את מי שקרוב יותר.
- אתה אומר שאנחנו צריכים לתכנת את כל זה. מי צריך להחליט מי יורה?
- נראה לי כי מסצ 'וסטס (MIT - "הייטק") הלך בדרך הנכונה - דמוקרטיה.
מדענים מהטכנולוגיה של מסצ'וסטסהמכון (MIT) עשה משחק שבו המשתמש מוזמן לבחור בין שתי גרסאות של התנהגות של רכב לא מאויש במקרה של דילמות אתיות. התוצאה הייתה מחקר עולמי שבו השתתפו מיליוני אנשים במאות מדינות. התברר כי לאנשים במדינות שונות יש רעיונות שונים לגבי האופן שבו מטוסים צריכים להתמודד עם סוגיות אתיות.
- אז אנחנו צריכים להצביע, מי צריך לירות זמזום?
- לא באמת. חייב להיות מחקר סוציולוגי שיאפשר לנו לבחור. כל האנושות תהיה אחראית לזה, לא רק מתכנת אחד.
- האם אתה חושב שזה יעבוד, אנשים יקבלו את זה?
- זה עדיין יגרום לאי שביעות רצון, כילמספר רב של אנשים ניתנה בחירה, ומישהו מטבע הדברים לא יסכים איתה. אבל אם אין ברירה בכלל, ובמקום זאת יש החלטה אוטוריטרית, אז זה לא לגמרי הוגן.