Waarom getallen levensgevaarlijk zijn

getallen

"En uit onze cijfers blijkt dat 13,3% van alle bezoekers regelmatig via Uitzendinggemist naar Goede Tijden Slechte Tijden kijkt!" De onderzoeker kijkt veelbetekenend naar de directie, die sinds een jaar haar eerste stappen op het internet heeft gemaakt. Met ontzag wordt geknikt. Een klinkklaar cijfer, dat getal heeft hij toch maar boven water weten te krijgen. Het was een duidelijk een betrouwbaar antwoord, maar eigenlijk wist niemand op welke vraag.

Klinkt goed: Nederlanders scoren gemiddeld een 7,6 op de wereldwijde geluksladder. Dus?
Klinkt niet goed: het vertrouwen van Nederlanders in de stabiliteit van de euro is eind maart gekelderd naar 32%. Dus? Dijsselbloem-effect?

Niemand meet de potentiële Cito-score van tevoren

Staatssecretaris Dekker van Onderwijs wil dat de gemiddelde Cito-scores van basisscholen openbaar worden gemaakt. Scholen maken bezwaar, ze hebben gelijk. Niemand meet wat de potentiële Cito-score is van het kind dat op de school naar binnengaat. Niemand weet dus hoeveel waarde de basisschool gemiddeld in de jaren aan de hoofden van de kinderen heeft toegevoegd.

citoHet getal dat de gemiddelde Cito-score van een school weergeeft is alleen een antwoord op de vraag: wat is de gemiddelde Cito-score van de school, maar het is een zinloze vraag. De publicatie van de Cito-staatjes kan tot volstrekt verkeerde keuzes van ouders leiden.

Een Cito-lekje?

In Den Haag scoorde een basisschool met opmerkelijk veel leerlingen een maximale score van 550 punten: 11 van de 33. Was het een toevallige verzameling briljant geworden kinderen? Of een wijk vol professoren, econometristen en uitvinders? Of een Cito-lekje?

En dan nu ziekenhuizen

Dezelfde alinea, nu een paar andere woorden.
Minister Schippers van VWS wil dat ziekenhuizen hun sterftecijfers openbaar maken. Ziekenhuizen maken bezwaar. Ze hebben gelijk. Niemand meet wat de gemiddelde levenskans is van de patiënt die het ziekenhuis binnenkomt. Niemand weet dus hoeveel levensjaar een ziekenhuis heeft verspeeld. Het getal dat het sterftecijfer van een ziekenhuis weergeeft is dus alleen maar een antwoord op de vraag: wat is het sterftecijfer van het ziekenhuis, maar het is een zinloze vraag. De publikatie van de sterftecijfers kan tot volstrekt verkeerde keuzes van patiënten leiden.

Gaan ziekenhuizen dit aanmoedigen?

Buurman Lowieke lag maanden in een ziekenhuis, maar wilde graag thuis, tussen zijn naasten, zijn laatste adem uitblazen. En zo geschiedde. Zouden ziekenhuizen dit gaan aanmoedigen?

inglogo

Getallen zijn levensgevaarlijk

Getallen zijn levensgevaarlijk, ook al omdat de verleiding zo groot is er een mening aan te verbinden. Er kan heel veel mis gaan. Het getal kan fout zijn, de interpretatie kan misleidend zijn en makkelijk verkeerd gaan. De grote onrust bij de saldo-#storING vorige week begon met het feit dat het getal, het saldo, foutief was. Omdat het door sommigen als de waarheid werd aangenomen was er een brandje in kleine kring. En aangezien het altijd hard waait op de netwerken werd het kleine brandje een vuurzee, dankbaar aangewakkerd door de stuntelende communicatieklungels.

Waarom bestaat het woord afvragen wel, en afantwoorden niet? Omdat je eerst moet vragen, en dan pas op zoek moet gaan naar de antwoorden.

Deze column werd eveneens gepubliceerd in Het Financieele Dagblad.

Uitgelicht: Word in 5 dagen gecertificeerd Google Analytics-specialist!

leergang-google-analytics-183x133

Gecertificeerd Google Analytics-specialist worden? Volg deze 5-daagse leergang en leer alle in’s & out’s van Google Analytics. Je sluit het traject af met het officiële Google Analytics Individual Qualification exam.

Meer weten?

Interessant?

Lees dan ook onze andere artikelen over , , , , , , , , , , .

Reacties

  1. Jan Molendijk |

    Misschien is een betere titel “Waarom absolute getallen levensgevaarlijk zijn”.
    Als ik weet dat de gemiddelde CITO-score op een school in een bepaald jaar X is, het jaar erop X+5%,en het jaar daarop X+10%, zegt dat wel degelijk iets over de school. Het zegt niet dat de school in jaar 3 10% ‘beter’ presteert, want er is ook variatie in de leerlingen. Maar een consequent stijgende trend zegt iets over beleid en inzet van de school.

    De absolute gemiddelde score is inderdaad net zo zinloos als het gemiddelde huisnummer, maar cijfers kunnen wel degelijk helpen bij trend-analyses. Gevaarlijk? Niet meten is veel gevaarlijker.

    1. Monique Fischer |

      Jan, Ja ik volg je en inderdaad zou je kunnen zeggen dat je enig inzicht zou kunnen krijgen door de cijfers zo te interpreteren. Maar het blijft interpreteren en een beperkt inzicht. Dat is nou juist waar het, volgens mij, in dit artikel om gaat. Bovendien is de vraag tot hoe hoog (+30, +40, +150%, …) kan een school komen. Hoe gaan we dan om met het afvlakken van de stijging, die onherroepelijk gaat komen. Ook het meten van de instap van kinderen, d.m.v. een instap-CITO zal niet ‘de’ oplossing zijn voor het interpretatie-risico die dergelijke wetenschappelijke getallen met zich meebrengen. Je kunt het wel goed gebruiken als management tool. Het zou het meer draagvlak kunnen creëren bij scholen om mee te blijven draaien in het voor onze maatschappij belangrijke CITO circus. Dus, het is maar wat je nastreeft, wat praktisch is om te bepleiten. Pragmatisten zouden dit fenomeen graag gebruiken om maar weer eens aan te tonen, dat mensen nooit met zekerheid in staat zijn om volledig objectieve uitspraken te doen omdat volledige kennis altijd ontbreekt en het doen van interpretaties daarmee onvermijdelijk is (lees bijvoorbeeld eens wat van Dewey of Kitcher). Of niet meten veel gevaarlijker is, lijkt mij dan ook een loze uitspraak. Die waarschijnlijk nooit volledig te bewijzen valt en volledig afhankelijk van de interpretatie en de situatie waarin wordt gemeten. Let wel ik ben niet tegen wetenschap, in tegendeel, maar wel tegen de waarheidsclaims die vanuit de wetenschap te makkelijk worden gemaakt.

    2. Een consequent stijgende lijn van de Citoscores zegt alleen iets over de Citotoets. Het zou zo maar kunnen dat de leerlingen beter scoren, dat de school beter onderwijs geeft. Maar het zou ook kunnen dat de school beter traint op het maken van de Citotoets.
      Wordt de school dan beter, leren de leerlingen meer? Nee, alleen de scores worden beter.

  2. Beste Joost,

    Mooie aandacht trekkende titel, maar geef je niet de verkeerde de ‘schuld’?
    Water is ook levensgevaarlijk, meningen zijn ook levensgevaarlijk. Getallen ook?.

    En van die drie is water dan nog de meest transparante, dat wel.

    Kijk eens goed: waarom zouden getallen niet gewoon totaal ongevaarlijk zijn?
    Is het niet de berekening die gemaakt wordt waaruit dat getal volgt, de aanname VOOR de berekening zelfs en/of onze eigen interpretatie met onze eigen gekleurde referentiekader wat getallen wel tot iets gevaarlijk maken?
    Maar alleen zodra wij besluiten klakkeloos getallen te geloven of ze te verspreiden…..

    Net zoals kunstmest: in de handen van de ene persoon een nuttig hulpmiddel in de landbouw, in de handen van een ander de grondstof voor een bom zoals meerdere malen bewezen is in de moderne geschiedenis.

    Daarom stop met getallen gevaarlijk te noemen.
    En ga terug naar het basisprincipe ‘weet wat je meet’ (of berekent).

    Maar dat vereist inspanning van de makers én de lezers/gebruikers van getallen: kijk niet meer klakkeloos naar een getal, wees kritisch, vertel of zoek het verhaal en de aannames achter het getal.

    En vooral produceer of verspreid geen getal als het kan leiden tot grotere misverstanden zoals wel mooi aangeven in het bovenstaande artikel.

    PS. Extra opletten bij KPI’s: Dat lijken soms meer Kunstmatige Prestatie Illusies dan de objectieve bestuurbare indicatoren die ze zouden moeten zijn.

    Peter Seijsener

  3. Meten is weten, zo is mij ingeprent. Maar je moet inderdaad wel weten wat je meet, waarom je meet, hoe je meet, misschien zelfs ook wie en waar je meet. Cijfers alleen zijn bovendien niet zaligmakend. Wat je uiteindelijk doet met de uitkomsten en met de conclusies die je uit die uitkomsten trekt, dat kan van belang zijn voor het uitstippelen van een mogelijke route, werkwijze of wat dan ook. Ik ken teveel mensen, die zich blind staren op de cijfertjes en daardoor lamgeslagen worden. Dat is nou jammer. Meten is weten en meten is weten wat je na het meten gaat doen. Ik ben het helemaal eens met @PeterSeijs. Getallen zijn pas levensgevaarlijk, als je niet weet wat je ermee moet en er kritiekloos mee omgaat.

Plaats een reactie

Je e-mailadres wordt niet gepubliceerd. Verplichte velden zijn met een * aangegeven.

Verschijnt je reactie niet, dan is deze mogelijk in de spam terechtgekomen. Mail ons dan even!