Bostrom vindt dat we als mensheid ernaar moeten streven onszelf te verbeteren. We kunnen beter, dus we moeten dat in principe ook willen. Maar van nature zijn we geneigd de status quo te willen behouden en verandering tegen te gaan. Zoals het nu is, is het goed. Bostrom heeft een manier om deze status quo bias te omzeilen. Merk je dat een verandering je tegenstaat, maar kun je niet beargumenteren waarom? Draai dan in gedachten de situatie om en stel je voor dat de verandering al gebeurd was. Zou je in dat geval willen dat deze ongedaan werd gemaakt? Of zou je de nieuwe situatie accepteren en misschien zelfs beter af zijn? In het laatste geval was je weerzin blijkbaar ongegrond.
Hoewel Bostrom over het geheel genomen dus voorstander is van mensverbetering (hij staat bekend als een transhumanist), vindt hij niet dat we alle nieuwe technieken maar gedachteloos moeten accepteren. Hij spreekt van een existential risk: risico’s die direct bedreigend zijn voor het voortbestaan van onze soort, Bostrom denkt dan bijvoorbeeld aan het moment waarop kunstmatige intelligentie zó slim wordt, dat het zelf nog slimmere computers kan maken, die weer nog slimmere computers kunnen maken etcetera. Als mensen op deze manier voorbij gestreefd worden kunnen we de kunstmatige intelligentie nooit meer bijbenen en verliezen we misschien wel onze macht aan de computer. Dit gegeven heeft hij uitgewerkt in zijn boek Superintelligence.
Hoe groot de kans op zo’n scenario precies is, doet voor Bostrom eigenlijk niet ter zake: de uitkomst is zó slecht dat je die koste wat kost moet vermijden. Zijn idee van crucial considerations sluit hierbij aan: sommige keuzes in beleid of wetenschap zijn zó belangrijk voor de toekomst van de wereld, dat ze niet verkeerd gemaakt mogen worden, laat staan helemaal over het hoofd gezien. Wat betreft nieuwe technieken is het volgens Bostrom bijvoorbeeld van belang dat ze in de juiste volgorde worden geïntroduceerd, zodat de mensheid niet de controle over haar eigen creaties verliest.
Bekijk hieronder een video van een presentatie van Bostrom tijdens de conferentie TEDxOxford.