GEO en AI-zichtbaarheid meten: dit zijn de richtlijnen van het IAB

Er zijn in Nederland talloze bureaus en zzp’ers die beloven je merk organisch zichtbaar te kunnen maken in ChatGPT en andere AI-systemen. Maar hoe kun je die AI-zichtbaarheid meten en bepalen of de resultaten betrouwbaar zijn? In een poging om orde in de chaos aan te brengen heeft het Interactive Advertising Bureau (IAB) nu richtlijnen opgesteld waarmee je de verschillen tussen meetmethodes beter kunt beoordelen. Deze richtlijnen helpen je te beoordelen welke cijfers bruikbaar zijn voor een eerste verkenning, en welke onderbouwing je nodig hebt om er beleid mee te kunnen maken.

Vier vormen van zichtbaarheid in AI

Het IAB deelt AI-zichtbaarheid op in vier categorieën, waarvan de Engelse benamingen vast niet toevallig allemaal met een P beginnen:

• Aanwezigheid (presence): komt je merk überhaupt voor in het antwoord, en wordt je website als bron genoemd?
• Plek (prominence): waar staat je merk in het antwoord? Sta je vooraan, sta je neutraal tussen meerdere opties, word je pas als laatste genoemd?
• Weergave (portrayal): hoe wordt je merk beschreven? Kloppen de feiten, en word je neergezet als specialist, goedkope optie of marktleider?
• Aanbeveling (persuasion): beveelt het systeem je merk actief aan, en voor welke situatie en met welke onderbouwing gebeurt dat?

Een merkvermelding alleen zegt dus niet genoeg. Een merk kan vaak worden genoemd en zelden worden aanbevolen. Dat hoeft geen probleem te zijn, maar je moet wel weten bij welke vragen dat gebeurt. En een merkvermelding bij een oriënterende vraag is iets anders dan een aanbeveling wanneer een koper aanbieders vergelijkt.

Meetniveaus

Als je AI-zichtbaarheid wil meten, kan een onderzoek met minder dan vijftig vragen een prima eerste indruk geven, maar de resultaten zijn onvoldoende betrouwbaar om er serieuze zakelijke besluiten op te baseren. Daarvoor zijn de resultaten nog te veranderlijk. Voor betrouwbaardere metingen onderscheidt het IAB twee kwaliteitsniveaus: directional en decision-grade. Als je trends wil signaleren, dan kun je met een directional meting volstaan. Daarvoor moeten de vragen aansluiten op je markt en je doelgroep en moeten dezelfde vragen meerdere keren aan hetzelfde AI-platform worden gesteld.

Wil je GEO-resultaten zwaar laten meewegen bij budgetbesluiten of strategische keuzes? Dan stelt het IAB hogere eisen aan de kwaliteit, onderbouwing en reproduceerbaarheid van de meting. De vragen moeten dan vier vraagtypen afdekken: informatieve, vergelijkende, aanbevelings- en transactionele vragen. Ook moet achteraf kunnen worden uitgelegd hoe de resultaten tot stand zijn gekomen en moeten de uitkomsten per AI-platform beschikbaar zijn.

IAB onderscheidt 2 niveaus van meten

Eén meting is géén meting

Omdat dezelfde vraag doorgaans verschillende antwoorden kan opleveren, is één meting géén meting. Je moet dezelfde vraag meerdere keren stellen, per platform en binnen een vast tijdvak. Bepaal daarbij wat je onder een normale schommeling in zichtbaarheid verstaat. Pas daarna kun je beoordelen of een stijging of daling betekenis heeft. Een verschil van vier procentpunt kan een echte verandering zijn, maar ook binnen de normale variatie vallen.

De taalmodellen die de AI-systemen gebruiken veranderen bovendien regelmatig, bijvoorbeeld bij de introductie van een nieuwe versie of na een wijziging in de manier waarop bronnen worden geselecteerd. Zo meldde Search Engine Land dat het aandeel van Reddit-citaties in ChatGPT onlangs sterk daalde. Als je het net van die citaties moest hebben, dan kun je nu ineens een grote terugval in je zichtbaarheid in AI zien.

Eisen aan je GEO-rapportages

Wil je AI-zichtbaarheid meten? Met deze tien vragen kun je beoordelen of een GEO-meting aansluit bij het IAB-meetkader:

1. Welk meetniveau wordt geleverd: verkennend, directional of decision-grade?
2. Hoeveel vragen zitten er in de meting, en hoe zijn die verdeeld over de klantreis?
3. Zijn de vragen gebaseerd op zoekdata, salesgesprekken en vragen van de doelgroep, of zijn ze door AI gegenereerd?
4. Hoe vaak wordt dezelfde vraag aan hetzelfde AI-platform gesteld?
5. Zijn de resultaten afzonderlijk per platform beschikbaar en te analyseren?
6. Volgens welke regels wordt vastgesteld of er sprake is van aanwezigheid, plek, weergave en aanbeveling?
7. Wordt er getoetst of er sprake is van correcte info, hallucinaties of feitelijk onjuiste informatie uit bestaande bronnen?
8. Hoe wordt omgegaan met model updates?
9. Hoe wordt omgegaan met wijzigingen in de meetmethode of de samenstelling van de vragenlijst?
10. Worden alle aannames die worden gemaakt bij het trekken van conclusies duidelijk vastgelegd?

Het IAB bepaalt dus niet welke meetaanbieder goed is. Het maakt vooral duidelijk welk soort meting past bij het besluit dat je ermee wil onderbouwen.