O myšlienke zničenia ľudstva umelou inteligenciou sa diskutuje už dlho.
Diskutujte
Háčik je v tom, že s cieľom ovládať súčasnosťumelá inteligencia, ktorá ďaleko presahuje ľudské chápanie, bude potrebovať simuláciu tejto superinteligencie, ktorú budeme môcť analyzovať (a ovládať). Ale ak to nie sme schopní pochopiť, nie je možné vytvoriť takúto simuláciu.
V tomto prípade si ľudia nebudú môcť nainštalovať AIobmedzujúce pravidlá typu „neubližuj ľuďom“. Aj keď ľudstvo nie je schopné vytvoriť takúto umelú inteligenciu, zostáva nejasné, v akom bode bude táto hranica prekonaná.