De grafiek ging omhoog, nu het vervelende deel

Er zit een wereld van verschil tussen “het werkt” en “ik kan bewijzen dat het werkt.” Twee zinnen die de meeste rapportages voor één aanzien. Ik ook, bleek na een maand.

Een klant belde met de simpelste vraag die er is. Werkt het? We hadden net een paar weken UX-werk op zijn site opgeleverd. Formulieren naar boven, koppen rechtgetrokken, de belangrijkste pagina’s opnieuw ingedeeld. Ik opende Google Analytics om hem een mooi antwoord te geven, en wat eruit kwam was: ik denk het, en laat me uitleggen waarom ik het niet zeker weet.

Dat ongemak is waar dit stuk over gaat. Wie UX of conversie verkoopt, levert graag een grafiek met een pijl omhoog. De afstand tussen die pijl en een uitspraak die je kunt verdedigen, is alleen groter dan de meeste rapporten doen voorkomen. Ik schreef de eerste versie van dit artikel toen die pijl er nog mooi bij stond. Toen keek ik een maand later nog een keer. Hieronder wat we veranderden, wat de cijfers eerst lieten zien, wat ze deden toen ik langer keek, en wat jij daarvan kunt leren.

Wat we deden, en waarom dat meten lastig maakt

De site draait al jaren. Een Nederlandse aanbieder in de zorg- en onderwijshoek, met een handvol commerciële pagina’s en een stapel informatieve blogs eromheen. Geen herbouw vanaf nul, gerichte ingrepen per pagina. Een formulier dat te laag stond hoger gezet, een koppenstructuur die nergens heen leidde rechtgetrokken, een pagina die om de hoofdvraag heen draaide opnieuw ingedeeld. Op 22 mei herzagen we één blog. Op 22 juni volgde de rest.

Meteen het ongemakkelijke deel, want zonder dit gaat de rest nergens over: dit was geen A/B-test. Het is een live site, met echte bezoekers, in een periode waarin ook van alles anders gebeurde. In dezelfde maanden liep er SEO-werk, ging de laadsnelheid omhoog, groeide het aantal bezoekers met een kwart. Je meet dus beweging, geen bewijs.

De eerste week: het verhaal dat ik bijna instuurde

Eind juni keek ik naar de betrokkenheidstijd per gebruiker, dertig dagen terug. Betrokkenheidstijd is geen perfecte maat, maar het zegt iets simpels: blijven mensen hangen, of klikken ze meteen weer weg. En het beeld was precies wat je hoopt. Op de pagina’s die we aanpakten steeg hij overal. De homepage van 45 seconden naar 1 minuut 17. Onderzoek en advies plus 44 procent. Coaching plus 25, tarieven plus 22, de IQ-testpagina plus 14. En de blogs die we met rust lieten? Min 4, min 6, min 6.

Beweging waar we werkten, stilstand waar we niets deden. Ik had de alinea al geschreven waarin ik dat contrast “het hele argument” noemde. Er zat alleen één ding scheef, en het stond er zelf al bij: de grote uitrol was op dat moment zeven dagen live. Van die dertig dagen stond de nieuwe versie er zeven. De stijging was voor het grootste deel opgebouwd op de oude pagina’s.

Dus ik heb gewacht.

Een maand later: wat er overbleef

Het team stuurt de klant elke maand een rapportage, met twee vensters naast elkaar: 10 mei tot 8 juni, en 9 juni tot 9 juli. In dat tweede venster stond de nieuwe versie zeventien van de dertig dagen live. Nog steeds geen volle maand, wel meer dan een week. Dezelfde bron voor voor en na, dat scheelt al een discussie.

De homepage hield stand: van 43 seconden naar 1 minuut 21. Onderzoek en advies ook, van 35 naar 51 seconden, plus 46 procent. En daar houdt het goede nieuws op. De IQ-testpagina bleef op 48 seconden staan, exact hetzelfde getal in beide vensters. Tarieven ging van 40 naar 42 seconden, dat is ruis. En van de blogs die we niet aanraakten zakte er één van 1 minuut 28 naar 1 minuut 21, bleef er één vlak, en steeg er één van 1 minuut 01 naar 1 minuut 06. Zonder dat wij er iets aan deden.

Van de vijf pagina’s met een mooie pijl in juni houden er twee die pijl vast als je langer kijkt. Het contrast met de onaangeraakte pagina’s is er nog, maar het is een streepje geworden, geen kloof. Was de eerste versie van dit stuk verschenen, dan had er een tabel in gestaan die op de dag van publicatie al niet meer klopte.

Twee pagina’s die overeind blijven na een maand, dat is overigens geen slecht resultaat. Het is alleen een ander verhaal dan vijf. En het is het verhaal dat ik kan verdedigen als iemand doorvraagt.

Betrokkenheid is leuk, de klant betaalt voor iets anders

Langer op een pagina blijven, mooi. Mijn klant rekent alleen niet af in seconden. Hij rekent af in aanvragen. Een bezoeker die drie minuten leest en dan wegklikt, is voor hem net zo veel waard als iemand die er nooit was.

In juni kwamen er 25 formulieraanvragen uit Nederland binnen. Dat aantal stond eerst op 33, maar daar zaten zeven inzendingen tussen van ons eigen testverkeer, plus eentje uit de Verenigde Staten. Die haal je eruit voordat je iets beweert, anders rapporteer je je ontwikkelteam als leads.

In het venster erna staan er 52. Een verdubbeling, en ik had er graag een kop van gemaakt. Maar in de rapportage staat er een regel onder, van het team zelf: rond 5 juli zit een piek die mogelijk bots, testverkeer of dubbele inzendingen bevat. Een getal dat toevallig verdubbelt en waar iemand een voetnoot onder heeft gezet, is geen getal dat je in een artikel zet. Het is een getal dat je nog een maand laat liggen.

Wat het verhaal echt had dichtgetimmerd, is de koppeling: betrokkenheid en aanvragen die op dezelfde pagina dezelfde kant op bewegen. Die koppeling heb ik niet. Het formulier-event vuurde wel, maar stond bijna een maand niet als conversie gemarkeerd, dus de aanvragen per landingspagina zijn pas later netjes uit te lezen. Ik kan laten zien dat de aanvragen stegen en dat de betrokkenheid op twee pagina’s steeg. Of het dezelfde bezoekers zijn, weet ik niet.

Twee tools, twee verhalen

Nog iets wat ik pas zag toen ik dit stuk voor de tweede keer schreef. Google Analytics telt bezoekers en zag het organische verkeer van juni op juli met 16 procent groeien. Ahrefs schat verkeer op basis van posities en zoekvolume, en ziet voor dezelfde site sinds het voorjaar een daling. Beide kunnen kloppen, want ze meten iets anders. Zet ze naast elkaar in één rapportage en je hebt een klant die vraagt welke van de twee liegt.

Eén ding leverde die schatting wel op. De commerciële pagina’s die we aanpakten krijgen volgens Ahrefs vrijwel geen bezoekers rechtstreeks uit Google. Mensen komen daar via de blogs en het menu. Dus de tegenwerping “misschien bleven mensen alleen langer omdat er meer verkeer binnenkwam” gaat voor precies die pagina’s niet op. Dat had ik graag als bewijs opgevoerd. Het is een schatting uit een tool, geen meting op de site, dus het blijft een aanwijzing.

Wat je hieraan hebt

Geen lijst met gouden regels, wel een paar dingen die ik zelf had willen weten voordat ik begon.

Houd verkeer, betrokkenheid en conversie uit elkaar

Verkeer is hoeveel mensen er komen, betrokkenheid is of ze blijven, conversie is of ze iets doen. SEO drukt het verkeer omhoog, UX raakt de betrokkenheid, en alleen de conversie betaalt de rekening. Gooi je ze op één hoop, dan claim je SEO-winst als UX-succes, of andersom.

Meet per pagina, niet site-breed

Het hele bewijs zat bij mij in het verschil tussen pagina’s, niet in het gemiddelde. Op siteniveau was alles één vrolijke stijging geweest.

Zet je conversie-event klaar als conversie voordat je iets aanraakt, niet erna

Anders ontdek je, zoals ik, een maand later dat je de hele tijd zat te meten zonder het te markeren, en kun je de koppeling die alles zou bewijzen niet meer maken.

Kijk nog een keer als het pijn doet

De eerste dertig dagen gaven vijf winnaars. De tweede dertig dagen hielden er twee over. Wie na de eerste blik rapporteert, wordt zelden tegengesproken, want niemand kijkt een maand later nog na. Dat maakt de cijfers niet beter.

En claim geen oorzaak die een live site je niet geeft. Zonder test weet je niet of het jouw ingreep was, of het seizoen, of de Google-update van die week. Je mag laten zien dat iets bewoog. Beweren dat jij het deed, is een andere zin.

“Het werkt” en “ik kan bewijzen dat het werkt” zijn twee zinnen. De eerste versie van dit stuk deed alsof het er één was. Deze versie ook een beetje, maar minder.