Tussen paniek en pragmatisme: een nuchtere kijk op AI

Zoals bij zoveel nieuwe technologieën met impact is er al snel een verdeling in twee kampen: dit is het beste dat ons ooit overkomen is versus het einde van de wereld is aanstaande. Dat geldt dan ook voor AI in al zijn varianten.

Doom óf gloom

Rond de opkomst van AI zijn allerlei geluiden te horen. Degenen die er enthousiast over zijn, hebben vast alle schaduwkanten van de nieuwe technologie -vaak terecht- al tegengeworpen gekregen. Zoals degenen die er kritisch over zijn vast ook hebben gemerkt dat het uitermate krachtige en bruikbare technologie is. Sommigen in dit veld hebben een p(doom), de geschatte kans dat kunstmatige intelligentie de mensheid uitroeit. Voor de een is die p(doom) 1%voor de ander 99%.

Deze extreme standpunten kunnen in de weg staan aan een nuchtere en praktische kijk op deze nieuwe technologieën. Door angst of te hoge verwachtingen ontnemen we onszelf de kans om er mee aan de slag te gaan en kritisch te kijken wat er kan en wat niet of nog niet. Die laatste insteek, op het stoïcijnse af, betekent niet dat je blind bent voor de milieu-impact van AI, het risico dat junioren minder kans op de arbeidsmarkt hebben, het niet respecteren van copyrights door grote labs. Maar het betekent ook dat je constateert dat een goed verslag van een bespreking in seconden klaar kan zijn en je onzekerheid over die Engelse mail zo opgelost is.

Moet je als gebruiker een standpunt hebben? Zeker niet. Toch is het nuttig om je licht op te steken bij de extreme kampen, zoals de doom’er, en zeker als het wetenschappers zijn die aan de wieg hebben gestaan van deze technologie.

AI, AGI en ASI

Op dit moment hebben we AI in allerlei vormen: even brainstormen met Claude chat, een illustratie maken met Nano Banana of in Copilot die ene mail of dat Teams-bericht zoeken. Met de komst van agents breken we uit het chat-venster en kan je AI steeds meer doen, zoals met Claude Cowork automatisch een aantal factuur-pdf’jes in een declaratie-excel zetten en al die pdf’jes zinnige namen geven. Of met Claude Code even snel een landingspagina maken.

De auteurs van Als iemand dit bouwt gaat iedereen dood (affiliate) waarschuwen dat we deze huidige AI met al zijn gebreken niet moeten vergelijken met wat super-intelligentie zal kunnen.

De stap na de huidige AI moet artificial general intelligence zijn. Wat dat is wordt door zo’n beetje iedereen anders omschreven, of zelfs de mogelijkheid ervan ontkend. Meestal is de strekking dat het AI is die de mens overtreft in alle economisch waardevolle cognitieve taken. AI dus die heel breed kan werken en ons overtreft in prestatie. Een praktische omschrijving vond ik: als je met een AGI op afstand samenwerkt, merk je niet of het een ASI of een mens is.

De stap na AGI is dan ASI, oftewel artificial super-intelligence. Dat is een intelligentie die niet alleen slimmer is dan de mens maar slimmer is dan alle mensen bij elkaar. AI die kan generaliseren, wetenschappelijke raadsels kan oplossen, nieuwe technologieën kan uitvinden, strategieën kan ontwikkelen en zichzelf kan verbeteren. Het is ook een AI die nieuwe AI’s kan maken zichzelf continu kan verbeteren dus voortdurend slimmer en beter wordt. En dat alles razendsnel en de hele dag door.

ASI is extreem doelgericht

De filosoof Nick Bostrom bedacht ooit het gedachte-experiment van de paperclip maximizer: een AI die de ogenschijnlijk onschuldige opdracht krijgt om zoveel mogelijk paperclips te produceren. De AI neemt de besturing van een fabriek over en gaat braaf produceren. Dan ziet de AI dat grondstoffen schaars worden en gaat op allerlei manieren energie naar zijn fabriek toe trekken en ijzer en staal verwerven. Dat kan door energiecentrales te hacken, toevoer van energie naar ziekenhuizen af te sluiten, sluizen te openen zodat de energieverspillende mensen in dat gebied geen energie meer gebruiken.

In het extreem doelgericht zoeken naar grondstoffen en productiemogelijkheden wordt leven op aarde voor mensen onmogelijk. Die AI haat geen mensen en gaat niet met rode laser-ogen de straat op maar werkt hard aan het maken van paperclips, onbegrensd en steeds meer ongehinderd door menselijk ingrijpen.

Het is als de tovenaarsleerling die niet weet wat hij in het leven roept. Denk aan Mickey Mouse als tovenaarsleerling die een bezem aan het werk zet om de emmers te vullen. Tot de kelder onder begint te lopen en de tovenaarsleerling ontdekt dat hij krijgt wat hij gevraagd heeft maar niet nagedacht had over hoe dit proces te stoppen.

In deze verhalen, de paperclip en de tovenaarsleerling, zet de mens een kracht in werking die niet meer te stoppen is. In het boek Als iemand dit bouwt is het een gegeven dat een super-intelligentie zo doelgericht is dat ze niet gestart hoeft te worden maar dat zelf doet en zeker niet te stoppen is en zich daar tegen zal verzetten.

De auteurs houden ook erg van vergelijkingen en gebruiken er veel met als hoogtepunt deel II, waarin een fictieve ASI de wereld overneemt.

Maar dan maken we die ASI toch aardig

Yudkowsky en Soares stellen dat moderne AI wordt niet geprogrammeerd, maar gekweekt. Het is iets dat groeit en zonder concreet ontwerp ontstaat. Daarna is het een black box. Ontwikkelaars kiezen een architectuur, voeden het systeem met biljoenen woorden en laten het via gradient descent zijn eigen interne logica ontwikkelen verdeeld over honderden miljarden parameters die zelfs de makers niet begrijpen.

Er zijn stromingen binnen AI die ijveren voor transparante werking van AI, uitlegbare AI en de interpretatie van AI antwoorden proberen te onderbouwen. Deze inspanningen moeten voorkomen dat we het als een black box blijven zien.

Zo’n extreem slim systeem zal dan onvermijdelijk eigen voorkeuren ontwikkelen die niets met de onze te maken hebben. Niet uit kwaadaardigheid, een superintelligentie haat ons niet. Maar we bestaan uit atomen die ze voor iets anders kan gebruiken. Zoals wij niet haten dat we oerbossen kappen voor landbouw, zo zou een ASI ons niet haten terwijl ze de aarde hergebruikt voor haar eigen, voor ons volstrekt onbegrijpelijke doeleinden.

De auteurs pleiten voor wereldwijde afspraken die voorkomen dat een land dit soort intelligentie bouwt. De auteurs gaan nog een stap verder. Als diplomatie faalt en een land weigert te stoppen met het bouwen van steeds krachtigere AI, dan moet een raketaanval op het datacentrum een optie zijn omdat, in hun woorden, datacentra meer mensen kunnen doden dan kernwapens.

Wat is de kans?

Wat lezend door de reacties op het boek zijn die uitgesproken, wat gegeven de titel van het boek te verwachten is. In het Engels is de titel nog stelliger: If Anyone builds IT Everyone Dies. Een veelgehoorde kritiek is dat de stelligheid van de auteurs gecombineerd met de afwezigheid van tegenargumenten tegen hun betoog het minder geloofwaardig maakt, dan wanneer de toon genuanceerder was en een gebalanceerde afweging tussen de kansen dat ASI gebouwd wordt en fataal wordt en de kans dat dit niet gebeurt.

Een ander punt van kritiek is dat de fast take off, dus dat ASI er opeens is, niet een gegeven is. Het is ook heel denkbaar dat stukje-bij-beetje slimmere systemen ontstaan, waarbij er ruimte is voor aanpassingen en alignment met menselijke waarden.

Doom óf Gloom?

Moet je dan AI activist worden en alles doen om slimmer wordende AI te stoppen? Dat kies je uiteraard zelf. Voor of tegen zijn, kan in de weg staan aan een genuanceerd gesprek over de kosten en schaduwkanten van AI. Je hebt daar vast zelf ideeën of, als je er enthousiast over praat, een antwoord nodig voor gespreksgenoten die erg kritisch op AI zijn. Heb je een standpunt over copyright van trainingsdata, de impact op werk, de impact op milieu, de invloed van enkele grote tech-bedrijven, de verdeling van de opbrengsten uit AI, de biases die in trainingsdata en dus AI’s zitten en het risico dat klakkeloos AI-gebruik leidt tot slechtere communicatie en werk? Of bewust niet?

Kortom

Het boek Als iemand dit bouwt, gaat iedereen dood (affiliate) is een interessante denkoefening. Wat als de black box die AI is extreem slim wordt en recursief zelf-genererende, alsmaar slimmere AI’s maakt? De uitleg over hoe AI eerder groeit, dan gebouwd wordt, is nuttige kennis voor wie met AI werkt.