Kunnen computers ooit ethische beslissingen nemen?

Column – En zo kon het gebeuren dat ik op het PINC-congres in Zeist (10 mei) het korte verhaal mocht vertellen van het trolleyprobleem, de zelfrijdende auto en de ethische en filosofische afwegingen die komen kijken bij het programmeren van de software. Nog maar weer eens over het trolleyprobleem. Een tram (trolley) rijdt een heuvel af. Vijf mensen zijn vastgebonden op de route die de tram zal volgen.

Maar vlak voor de plek waar de angstigen liggen, is een wissel: bij omzetting neemt de tram een ander spoor. Op dit spoor is één persoon vastgebonden op de rails. Jij staat bij de wissel, en kent beide scenario’s. Wat zou je doen?

Precies deze vraag stelde ik op het podium in Zeist. Op de vraag wie de wissel zou omhalen (je redt vijf mensen, maar een ander mens gaat eraan) stak de helft van het driehonderd-koppige publiek de hand omhoog. Het tweede scenario, waarbij je de tram stopt niet door de wissel om te halen, maar door actief iemand op het spoor te duwen, kreeg maar één stem. Het is opmerkelijk, het gevolg van beide handelingen (de wissel omzetten of iemand het spoor op duwen) is gelijk, maar als je mensen laat stemmen dan wint de mechanische variant (de wissel) het van de contactvariant (de duw).

Het trolley-probleem

En toen sprak ik in de pauze met de aardige ruimterechtenprofessor Frans von der Dunk. Hij weet alles over het Europese ruimterecht, had net op het podium uitgelegd dat het planten van de vlag op de maan niets heeft te maken met het claimen van een gebied, maar alles met nationale trots. Hij had gesproken nadat de accordeonist Yvo Staudt had gespeeld (later bleek dat de accordeonist ook horlogemaker was) en nog voordat Thomas Thwaites had verteld over het project om zich te transformeren tot geit, en wat je daarbij allemaal meemaakt. Zo’n congres was het, en dat is het al 17 jaar lang, en zo zal het nog vele jaren gaan.

Hoe dan ook, de ruimteprofessor vertelde naar aanleiding van het trolley-probleem over de keuze die de Engelsen blijkbaar hadden gemaakt in de oorlog. Enig uitzoekwerk bracht me bij het bombardement op Coventry, in 1940. De Engelsen waren erin geslaagd de Duitse codering van het Enigma-apparaat te kraken en Churchill was op de hoogte van het voorgenomen bombardement door de Duitse Luftwaffe op Coventry. Hij koos er echter voor om niets te doen, want daarmee zou Hitler weten dat zijn Enigma-machine zou zijn gekraakt. Coventry werd geofferd voor het grotere doel.

Het bleef een geheim dat de Britten de code hadden gekraakt en daarmee hielden ze toegang tot de toekomstige kennis over grotere bombardementen met waarschijnlijk een groter aantal slachtoffers (Londen werd genoemd). Hier viel dus eenzelfde beslissing: door weinigen te offeren, zullen we velen redden.

Het is het trolleyprobleem in het groot, in 1940. Churchill was de man aan de wissel. Een computer-avant-la-lettre was de oorzaak, een mens nam het besluit.

Een computer-avant-la-lettre was de oorzaak, een mens nam het besluit.

Het speelde zich af 75 jaar geleden. De aanname nu is dat steeds meer keuzes worden gemaakt door systemen, op basis van geprogrammeerde algoritmes. Bij het voorbeeld van de trolley (vervang de trolley door een zelfrijdende auto) gaat het om relatief ‘kleine’ aantallen; de keuze die Churchill in 1940 maakte had betrekking op duizenden mensenlevens. Is het voorstelbaar dat zulke keuzes worden overgelaten aan geprogrammeerde systemen? En zo ja, welke invloeden zouden een rol hebben gespeeld op de beslissing die Churchill nam? Zou het gebaseerd zijn op de principes van het utilitarisme?

Het utilitarisme is een ‘ethische stroming die de morele waarde van een handeling afmeet aan de bijdrage die deze handeling levert aan het algemeen nut, waarbij onder algemeen nut het welzijn en geluk van alle mensen wordt verstaan’. De meest korte samenvatting is ‘het doel heiligt de middelen’. (bron: Wikipedia)

Veel vragen zijn gesteld. Hoe betrouwbaar is de informatie? Hoe zeker is het dat het bombardement in Coventry gaat plaatsvinden? Zal het snel gebeuren of pas over weken? Hoe groot zal het leed zijn van de getroffenen? En, daartegenover: hoe groot de kwaliteit van leven van de geredden? Hoeveel mensen zijn betrokken?

Hedonistische calculus

En als je gaat zoeken hoe zulke beslissingen worden genomen in de filosofische literatuur, kom je onder andere uit bij de hedonistische calculus. Hèdonè betekent ‘genot’, een paar stappen verder en je komt in de buurt van geluk.

Filosoof Jeremy Bentham probeerde dit ‘geluk’ uit te drukken in een zevental begrippen. En als je de beslissing over Coventry analyseert, kom je aardig in de buurt van het principe van de hedonistische calculus, die ‘rekent’ met begrippen als intensiteit (hoe groot is het geluk?), duur (hoe lang duurt het?), zekerheid (gaat het gebeuren?), nabijheid (wanneer gebeurt het?) , productiviteit (levert geluk nieuwe geluk op?), zuiverheid (is geluk vrij van pijn?) en reikwijdte (hoeveel mensen zijn betrokken?).

De vraag die ik eerder stelde over ethische en filosofische afwegingen bij het programmeren van systemen die beslissingen nemen namens de mens, wordt steeds groter. En misschien is er ergens een programmeur die bezig is om de hedonistische calculus te vatten in regels code. Zou het ooit ook maar in de buurt komen van iets wat wij mensen ‘ziel’ noemen?