Voorkom dat A/B-tests verdwijnen in rapporten: maak klantkennis onderdeel van elke beslissing

We dachten dat we een testprobleem hadden. We bleken een kennisprobleem te hebben. En die ontdekking veranderde hoe twaalf webshops in negen landen beslissingen nemen.

Begin 2025 zag mijn experimenteer-roadmap er ongeveer zo uit: een lijst in Excel, een freelancer die A/B-tests uitvoerde, en een hoop PowerPoints die niemand meer terugvond. Ik werkte bij Online Plastics Group, een internationale groep met twaalf webshops over negen landen. We deden experimenten. We leerden er weinig van.

Het probleem zat niet in hoeveel we testten. Het zat ergens anders. De plek waar we leerden, stond namelijk los van de plek waar we beslisten.

Stel: een Product Owner plant maandag zijn sprint. Hij wil weten of we ooit iets getest hebben op de productpagina die hij die week gaat aanpakken. Het antwoord is meestal: niet vindbaar. Misschien zit het in een PDF van een freelancer uit Q3 vorig jaar. Of in iemands hoofd. Maar niet op het scherm waar hij op dat moment naar kijkt.

De vraag bleek dus niet “hoe testen we meer?”. De vraag was: “hoe maken we klantkennis een ingrediënt van élke beslissing, op het moment dat die beslissing valt?”.

Een jaar later is het anders. De roadmap zit niet meer extern. Onze experimenten zijn geen losse projecten meer. En het bizarste: een fors deel van onze experimenteer-ideeën komt nu uit teams die nooit eerder een hypothese hadden geformuleerd: Customer service, Pricing, SEO, Development.

In dit artikel deel ik hoe die verandering tot stand kwam. Ik denk dat veel marketing- en e-commerce teams in een vergelijkbare situatie zitten. En misschien herken je ook de fundamentele fout die we maakten.

De situatie was klassiek (en herkenbaar)

Twaalf webshops. Negen landen. Vier teams die elk hun eigen waarheid hadden.

Marketing keek naar ROAS. Customer service telde klachten. SEO bewaakte rankings. UX dacht na over usability. Vier teams, vier waarheden, vier KPI-werelden. En geen enkele plek waar die werelden bij elkaar kwamen.

A/B-testen liet ik uitvoeren door freelancers. Niet uit luiheid, maar uit noodzaak. Een test opzetten, documenteren, analyseren en de learnings vastleggen kost zoveel tijd dat je er een fulltime functie van kunt maken.

Wat ik niet doorhad, was dat ik daarmee een soort schaduw-organisatie creëerde. De experimenten leefden buiten het bedrijf. De inzichten kwamen terug in PDF’s. En zes maanden later wist niemand meer welke tests we hadden gedaan, laat staan wat we ervan geleerd hadden.

Ondertussen waren we bezig met een platformmigratie. Twaalf webshops verhuizen naar een nieuwe technische basis. Elke beslissing een potentiële kostenpost.

Precies in die periode realiseerde ik me waarom dat schaduwsysteem zo’n probleem was. Niet omdat we te weinig testten, maar omdat onze beslissingen niet uit gevalideerde klantkennis kwamen. Terwijl die kennis er wél was. Hij was alleen niet vindbaar op het moment dat het ertoe deed.

Het werkelijke probleem: een Decision Gap

De fout zit niet in te weinig testen. De fout zit in een gat tussen twee plekken in de organisatie:

1. Aan de ene kant: de plek waar geleerd wordt. Daar staat alles wat je ooit hebt onderzocht, getest en ontdekt.
2. Aan de andere kant: de plek waar beslist wordt. Daar wordt gekozen wat je volgende sprint, volgende campagne of volgende productlancering wordt.

Als die twee plekken niet met elkaar verbonden zijn, ontstaat er een gat. Dat noem ik de Decision Gap. En hij zit overal, niet alleen bij OPG.

Het gevolg is dat er besloten wordt op basis van wat het team dénkt te weten. En zo bouw je in een fancy Agile-flow heel efficiënt de verkeerde dingen.

Wat er ontbreekt, is dit: klantkennis als input voor de beslissing. Net zoals omzet, marge en capaciteit input zijn. Dingen die je opzoekt als je gaat kiezen, niet dingen die je achteraf nog eens nakijkt in een rapport.

Wat ik veranderd heb

Ik ben niet als freelancer ingehuurd. Ik werkte als interne digitale experience specialist en samen met content- en AI-specialisten heb ik het hele systeem omgegooid.

Drie systemen kregen elk een eigen rol en AI werd de lijm:

1. Notion werd onze knowledge bank

Niet alleen voor A/B-tests, maar voor élke vorm van experiment. SEO-experimenten, content-tests, pricing-tests, AI-initiatieven, klantservice-observaties: allemaal in dezelfde database.

Want als alleen marketing-tests in je centrale systeem staan, blijft de Decision Gap voor de rest van de organisatie wagenwijd openstaan.

2. Airtable bleef onze planning-tool voor de A/B-pijplijn

Status, eigenaar, verwachte business impact. Dat werkte op zich prima. Alleen sloot het niet aan op de rest. Dus we hebben de twee aan elkaar gekoppeld.

3. Claude AI werd de interface

Niet als rapportage-tool. Niet als auto-pilot. Maar als gesprekspartner voor onze documentatie en data.

We hebben aangepaste Claude-skills gebouwd die nieuwe experimenten kunnen classificeren en documenteren. Ze analyseren resultaten en rekenen uit wat een test waarschijnlijk oplevert over een jaar, inclusief het feit dat effecten in de tijd afnemen. Notion en Airtable blijven automatisch in sync.

En het belangrijkste: iedereen in de organisatie kan via een gesprek opvragen wat we hebben geleerd. Klantkennis werd daarmee net zo opzoekbaar als een omzetcijfer.

De vier lessen

1. AI als interface, nooit als orakel

Elke output van Claude wordt door een mens gevalideerd voordat het een beslissing beïnvloedt. Dat is geen technische beperking, maar een ontwerpkeuze. Een team dat zijn oordeel uitbesteedt aan AI verliest het vermogen om te herkennen wanneer AI iets verkeerd zegt. En geloof me: dat gebeurt. Bouw die menselijke vaardigheid op tegelijk met de AI-vaardigheid, niet erna.

2. Documenteren is een blocker, totdat het een bijproduct wordt

Het grootste obstakel voor een experimenteer-cultuur is niet de uitvoering. Het is de documentatie. Marketeers stoppen ermee, omdat het te lang duurt. De volgende test overschrijft de onafgemaakte uitwerking van de vorige. Doordat via een AI-skill conversationeel te maken met menselijke goedkeuring, werd documenteren een bijproduct van het gesprek. De kwaliteit ging omhoog, omdat de frictie omlaag ging.

3. Onbesliste tests zijn niet waardeloos

Misschien wel het meest tegen-intuïtieve inzicht uit dit hele jaar. Een duidelijke winner is leuk. Een duidelijke loser is duidelijk. Maar de tests waarvan je niet goed kunt zeggen wat er nou eigenlijk gebeurd is, bevatten vaak de meeste leerwaarde. Onlangs hadden we een test met nieuwe productafbeeldingen. Het conversieratio steeg niet significant, maar het bouncepercentage wel. Wat bleek? De afbeeldingen waren zwaarder. Pagespeed had een effect. Dat had ik nooit gevonden als ik de test als ‘inconclusive’ had weggegooid.

4. Eén systeem voor alle experimenttypes, of niets

Dit is waar ik de meeste organisaties zie struikelen. Ze bouwen een prachtige A/B-test-bibliotheek. En laten pricing-experimenten in spreadsheets staan, SEO-tests in slides, customer-service-learnings in mailtjes. De Decision Gap blijft open, omdat het systeem maar één team afdekt. Klantkennis moet voor iedereen opzoekbaar zijn, net zoals omzet voor iedereen opzoekbaar is. Maak het van iedereen, of houd je vooral bij rapporten schrijven.

Wat is er anders dan een jaar geleden?

We hebben ons aantal experimenten meer dan verdubbeld. We genereren significant meer inzichten die onze roadmap echt sturen. En tegelijkertijd hebben we flink wat verlies voorkomen, doordat we losers op tijd herkenden.

Maar dat zijn niet de cijfers waar ik het meest trots op ben.

Het cijfer dat blijft hangen is dit: ongeveer een vijfde van alle experimenteer-ideeën komt inmiddels niet uit marketing, maar uit Customer service, Pricing, SEO en Development. Mensen die een jaar eerder niet wisten waar de A/B-test-tool stond, dragen nu hypotheses aan.

En dáár zit voor mij de kern. Het is geen marketingteam dat méér test. Het is een hele organisatie die klantwaarde behandelt als input voor beslissingen. Iets dat je opzoekt op het moment dat je gaat kiezen, net zoals je een omzetcijfer of een marge opzoekt.

Klantkennis is niet langer een rapport dat achteraf gelezen wordt. Het is een ingrediënt voor de beslissing zelf.

Dat principe, klantwaarde als structurele input in elke teambeslissing in plaats van als achteraf-validatie, ben ik AgileCX gaan noemen. Het is wat er overblijft als je de tooling wegdenkt. En het is, denk ik, wat veel Agile-organisaties onderschatten.

De freelancers? Daar zijn we voor het grootste deel mee gestopt. Niet omdat ze hun werk niet goed deden, maar omdat experimenteren geen extern project meer is. Het zit in het systeem.