Bouwen met AI? Juist dan heb je je collega’s nodig

Een van de eerste versies van mijn matchingtool, een AI-toepassing die ik bouwde om programma’s en publiek aan elkaar te koppelen, kwam met een opvallende suggestie. Een kindervoorstelling paste volgens de tool bij voorstellingen over relaties en intimiteit. Dat was ongepast, en iedereen zag meteen dat het niet klopte. Juist daardoor kwam de fout aan het licht.

Toch bleef het me bezighouden. Een fout die zo opvalt, zie je wel. Maar hoeveel matches kloppen er niet zonder dat ik het merk?

Daar moest ik aan denken toen ik onlangs twee presentaties over AI gaf aan professionals uit de culturele sector. Iemand zei dat AI mensen dommer maakt, een ander dat je AI-teksten altijd herkent aan voorspelbare zinnen.

Die kritiek begrijp ik, maar volgens mij zegt een slechte AI-tekst vooral iets over de input. Wie één vraag stelt en het antwoord overneemt, krijgt een willekeurig AI-verhaal. Het verschil zit in het itereren: vragen, schrappen, herschrijven, net zo lang tot het van jou is.

Mijn ervaring van de afgelopen anderhalf jaar is dan ook ingewikkelder dan de vraag of AI ons dommer maakt.

Bouwen zonder programmeur te zijn

Ik ben hoofd marketing en communicatie bij een culturele organisatie. Ik ben geen programmeur. Toch bouwde ik met AI een tool die draait op ruim 600.000 transacties. Hij laat zien welke publieksgroepen bij welke programma’s passen. Dat zijn verbanden die ik zelf niet had kunnen ontdekken.

Later vroegen mijn collega’s om matches op inhoud: welke programma’s lijken op elkaar omdat ze over hetzelfde gaan? Dat deel was er snel bij gebouwd. Zulke vergelijkingen maakten we eigenlijk altijd al zelf, nu hebben we er alleen een handige tool voor. De echte winst zat in de publieksmatches die ik zelf nooit had kunnen vinden.

Al met al werkte ik er zo’n half jaar aan. Naast betere matches breidde ik het systeem steeds verder uit: eerst zoeken in de historische verkoop, daarna ook in aankomende voorstellingen, en een verkoopmonitor die bijhoudt welke voorstellingen achterlopen.

Wat mijn collega’s zagen

Die rare matches zag ik niet als enige. Toen collega’s de eerste versies zagen, wezen ze op koppelingen die ze niet begrepen. Met hun opmerkingen ging ik terug naar Claude om uit te zoeken hoe die fouten ontstonden en hoe ik ze eruit kon halen.

Daar zag ik voor het eerst een patroon: ook voor een tool die ik zelf bouw, heb ik andere mensen nodig die er kritisch naar kijken.

De piek die niet klopte

Bij de seizoensbaseline ging het een stap verder. Die toepassing laat zien hoe de organisatie ervoor staat, afgezet tegen eerdere seizoenen en rekening houdend met seizoensinvloeden. Dat inzicht had ik nog niet eerder. Bij het bouwen zag alles er meteen goed uit. Toch zat er op een bepaald moment een grote piek in de cijfers die in de boekhouding niet te verklaren was.

Pas toen ik met een collega van de financiële administratie door de cijfers ging, vonden we de oorzaak. Er zat geen fout in de data, wel in de manier van rekenen. Neem een abonnement: een reeks van tien voorstellingen, één per maand.

Mijn systeem boekte de hele verkoop zodra de eerste voorstelling was geweest. De administratie verdeelt hetzelfde bedrag over de tien voorstellingen.

Beide manieren zijn te verdedigen, maar dat verschil had ik zelf nooit gevonden. Daarvoor moet je weten hoe een administratie omzet toerekent, en dat weet ik niet. De AI had het ook niet door. Pas toen ik er zelf over begon, kon die het verklaren.

AI maakt je niet dommer. Wel afhankelijker van andermans vakmanschap

Bij de matches hielpen mijn eigen kennis en die van mijn collega’s. Voor de abonnementen was het vakmanschap nodig van iemand buiten mijn vak.

Dat is geen toeval. In een experiment van Harvard en de Boston Consulting Group met 758 consultants deden de deelnemers met AI het beter bij taken die binnen het bereik van de AI lagen. Bij een taak waar het juiste antwoord afhing van details die de data niet direct prijsgaf, kwamen ze juist 19 procentpunten minder vaak tot het goede antwoord dan collega’s zonder AI.

Die foute antwoorden waren bovendien goed geschreven en overtuigend. Mijn seizoensbaseline is zo’n fout in het klein: verzorgd, overtuigend, en fout op een punt dat alleen een vakman ziet.

Wat ik zelf heb geleerd

Blijft de vraag of ik er zelf iets van leer, of alleen beter presteer zolang de AI meedraait. Onderzoek in PNAS maakt dat onderscheid scherp. Bijna duizend scholieren in Turkije oefenden wiskunde met een gewone AI-chatbot. Tijdens het oefenen presteerden ze beter, maar zonder AI scoorden ze daarna 17 procent lager dan leerlingen die nooit AI hadden gebruikt.

Een AI-tutor die hints gaf in plaats van antwoorden, nam dat effect grotendeels weg. Het gaat om scholieren en wiskunde, maar de les is breder: een taak beter uitvoeren is iets anders dan er zelf beter in worden.

Als ik dat op mezelf toepas: ik kan nog steeds geen code schrijven. Wel begrijp ik veel beter hoe computersystemen werken, wat code kan doen en welke scripts mogelijk zijn. Daardoor zie ik nu meteen mogelijkheden om systemen te koppelen die vroeger onmogelijk leken.

Onlangs nog koppelde ik ons planningssysteem aan Monday, de projectmanagementsoftware van mijn afdeling. Nu hoeft niemand meer elke voorstelling met de hand in te voeren.

Wat je morgen anders kunt doen

Bouw je met AI iets buiten je eigen vak? Dit doe ik inmiddels standaard:

• Laat het zien voordat het af is. Mijn collega’s vingen de rare matches in de eerste versies. Hoe eerder iemand meekijkt, hoe kleiner de fout.
• Vergelijk met cijfers die je al kent. Leg de uitkomst van je dashboard naast een bron die je vertrouwt, zoals de boekhouding. Wijkt het af, dan weet je waar je moet zoeken.
• Vraag de vakman naar de spelregels en geef die aan de AI. De AI zag het verschil in rekenwijze pas toen ik er zelf over begon. Vraag daarom vooraf aan iemand uit het vak welke definities en afspraken gelden, en zet die in je opdracht.

Computer of collega

AI geeft me de mogelijkheid om dingen te maken buiten mijn eigen vakgebied. Daar zit ook het risico, want soms weet je gewoon niet wat je niet weet. Ik weet veel van marketing, maar niet van boekhouding.

Hoeveel matches er niet kloppen zonder dat ik het merk, weet ik nog steeds niet. Wel weet ik wat ik eraan doe.

Inmiddels leg ik alles wat ik bouw, voordat het de organisatie in gaat, voor aan iemand die dat vak al jaren doet. Dat ben ik gaan doen omdat ik heb gezien dat juist dat de fouten uit mijn systemen haalt. Het vakmanschap is er niet voor niks.

Wie vertrouw je dan, je computer of je collega? Wat mij betreft is dat geen keuze. Bouwen doe ik met de computer. Of het klopt, hoor ik van mijn collega.