הרעיון של בינה מלאכותית להפיל או לשעבד את האנושות דובר כבר עשורים רבים, ו
הקאץ' הוא זה לנהלאינטליגנציה-על הרבה מעבר להבנה האנושית תדרוש סימולציה של אינטליגנציה-על זו שנוכל לנתח. אבל אם אנחנו לא מסוגלים להבין את זה, אז אי אפשר ליצור סימולציה כזו.
כללים כגון “לא גורמים נזקלא ניתן להקים אנשים אם איננו מבינים לאילו תרחישים בינה מלאכותית יכולה להמציא, על פי מחברי המאמר משנת 2021. כאשר מערכת מחשוב פועלת ברמה מעבר ליכולות של המתכנתים שלנו, אנחנו כבר לא יכולים להציב גבולות.
“מודיעין העל מייצגבעיה שונה מהותית מאלה הנלמדות בדרך כלל תחת הדגל של “אתיקה של רובוטים”, – לכתוב את החוקרים. “הסיבה לכך היא שמודיעין-על הוא רב-גוני ולכן יש לו פוטנציאל לגייס מגוון משאבים להשגת מטרות שעלולות להיות בלתי מובנות לבני אדם, שלא לדבר על ניתנות לשליטה”.
אם אנחנו מתכוונים לקדם מלאכותימודיעין, אולי אפילו לא נדע מתי תופיע אינטליגנציה על, מעבר לשליטתנו, זה כל כך לא מובן. זה אומר שאנחנו צריכים להתחיל לשאול שאלות רציניות לאיזה כיוון אנחנו הולכים.
מקור: sciencealert, jair
איורים: Yuyeung Lau
</ p>