הרעיון של השמדת האנושות באמצעות בינה מלאכותית נדון כבר זמן רב. מדענים שיתפו את שלהם
לָדוּן
הקאץ' הוא שכדי לשלוט בהווהבינה מלאכותית, הרבה מעבר להבנה האנושית, תזדקק לסימולציה של אינטליגנציה-על זו שנוכל לנתח (ולשלוט עליה). אבל אם איננו מסוגלים להבין זאת, אי אפשר ליצור סימולציה כזו.
במקרה זה, אנשים לא יוכלו להתקין עבור AIכללים מגבילים כגון "אל תפגע באנשים". עם זאת, אמנם האנושות אינה מסוגלת ליצור בינה מלאכותית כזו, אך עדיין לא ברור באיזה שלב יתגבר הסף הזה.