O myšlence zničení lidstva umělou inteligencí se diskutuje již dlouho.
Diskutujte
Háček je v tom, aby bylo možné ovládat přítomnostumělá inteligence, daleko za hranicemi lidského chápání, bude potřebovat simulaci této superinteligence, kterou budeme moci analyzovat (a ovládat). Ale pokud to nejsme schopni pochopit, není možné takovou simulaci vytvořit.
V tomto případě lidé nebudou moci instalovat pro AIomezující pravidla typu „neubližuj lidem“. Lidstvo sice není schopno vytvořit takovou umělou inteligenci, ale zůstává nejasné, v jakém bodě bude tento práh překonán.