Genoeg van je gebruikers? Neem een expert!

Is het testen van je website bij de doelgroep noodzakelijk voor een succesvolle webevaluatie? Wat mij betreft niet. Leg je website voor aan experts en je komt een heel eind. De vraag is alleen of zij de evaluatie met gebruikers volledig kunnen vervangen. En is dat eigenlijk wel nodig? In dit artikel bespreek ik de mogelijkheden en beperkingen van gestuurde expertevaluatie.
In mijn vorige artikel schreef ik over evaluatiemethoden met behulp van gebruikers. Maar webevaluatie kan ook nog op een andere manier plaatsvinden, namelijk met experts. Hierbij bezoeken communicatie- en/of webexperts een website, waarbij ze de kwaliteit van de site beoordelen. Dit kan uit de losse pols, maar ook aan de hand van hulpmiddelen. Mogelijke manieren van gestuurde webevaluatie met experts zijn scenario-evaluatie, heuristische evaluatie en (een beetje een vreemde eend in de bijt) de Latent Semantic Analysis.

Deze methoden worden voornamelijk ingezet als probleemopsporende instrumenten op bestaande websites (De Jong e.a., 2004). De evaluatie is dan niet bedoeld om een algemeen beeld van de site te vormen, maar om specifieke gebruikersproblemen op te sporen en te verhelpen.

Scenario-evaluatie: de expert als fictieve bezoeker

Bij de scenario-evaluatie bezoeken evaluators met een vooraf opgesteld scenario een website. Hierin wordt een fictieve websitebezoeker beschreven. Zo’n scenario bestaat veelal uit een beschrijving van de context, een aantal concrete vragen en eventueel een karakterbeschrijving met betrekking tot het ‘surfgedrag’ van deze sitebezoeker. De evaluators moeten zich vervolgens inleven in het scenario, en vanuit die rol op zoek gaan naar de antwoorden op de vragen die in het scenario gesteld zijn.  Ze moeten hierbij hun expertise volledig gebruiken, en daarnaast rekening houden met de rol die hen is toebedeeld.

Voordelen van deze methode

Voordelen van de scenariomethode zijn dat evaluators:

• zich met name richten op gebruikersproblemen, en minder op hun opvattingen over geslaagde webcommunicatie
• zich beter inleven in de doelgroep dan zonder scenario
• de informatie op een website zelf toe moeten passen, en dus zelf ervaren of een website goed functioneert.

Een voorbeeldscenario: op zoek naar schoolvakanties

Mevrouw van den Berg heeft twee kinderen: een van vier jaar die op de basisschool zit en een van dertien jaar op de middelbare school. In de komende zomervakantie wil zij drie weken naar Frankrijk gaan. Voorlopig denkt zij eraan te vertrekken op 9 augustus en terug te komen op 30 augustus. Zij wil op de website van de gemeente Ede nagaan wanneer de schoolvakanties in de zomer van 2009 vallen.

1. Hebben beide kinderen zomervakantie in de periode van 9 augustus tot 30 augustus?
2. Zij vermoedt dat ze met het jongste kind van vier buiten de officiële zomervakantie weg mag gaan, maar wil dit voor de zekerheid nog checken op de website. Is het volgens de informatie op de website inderdaad toegestaan om met een kind van vier buiten de schoolvakantie op reis te gaan?

Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter wel een goede opleiding en wil graag het naadje van de kous weten. Ze leest alles wat maar relevant lijkt en geeft niet gauw op.

Heuristische evaluatie: beoordelen via criteria

Bij een heuristische evaluatie maken evaluators gebruik van een lijst met aandachtspunten of beoordelingscriteria (heuristieken), waarmee zij de website nalopen. Per criterium geven ze vervolgens een mening over de kwaliteit. In de lijst zijn meestal toegankelijkheid, gebruiksvriendelijkheid, navigatie en begrijpelijkheid opgenomen. Een van de voordelen van deze methode is dat evaluators geen aspecten van de website overslaan tijdens hun evaluatie. Ook kunnen heuristieken helpen om gestructureerd te werk te gaan bij het evalueren van de website (Welle Donker e.a., 2008).

Latent Semantic Analysis: verband tussen teksten

Een laatste expertmethode is de Latent Semantic Analysis (LSA), waarvan Thomas Landauer de medebedenker is. Dit instrument is gericht op de talige kant van websites. Het is een methode die wordt gebruikt om het verband tussen verschillende teksteenheden (zoals woorden, zinnen en paragrafen) vast te stellen. Dit verband wordt berekend met een computerprogramma, dat hiervoor een zeer groot aantal (Engelse) teksten gebruikt. Het programma rekent uit hoe vaak bepaalde woorden in combinatie met elkaar voorkomen.

Nut van LSA bij webevaluatie

Bij webevaluatie wordt deze methode bijvoorbeeld gebruikt om te bepalen of de benamingen van links waarop moet worden geklikt voldoende overeenkomen met het doel van de websitegebruiker. Als deze bijvoorbeeld op de link ‘Producten’ moet klikken om meer te weten te komen over het melden van een verhuizing, is dat een onlogische stap. De LSA geeft dan ook aan dat deze woorden nauwelijks met elkaar in verband staan. Tussen ‘Wonen’ en ‘Verhuizen’ is de onderlinge overeenkomst daarentegen veel groter. Zelf gebruik maken van de LSA kan hier.

De LSA werkt als volgt:

De main text is het hoofdwoord (of de hoofdwoorden) die je wilt vergelijken. Na ‘submit texts’ verschijnen de resultaten. In dit voorbeeld blijkt dat ‘huis’ het sterkst gerelateerd is aan ‘dak’, en het minst aan ‘tandarts’. Hieruit zou je kunnen concluderen dat mensen die op een website zoeken naar ‘dak’, het logisch vinden om onder ‘huis’ te zoeken, terwijl mensen die zoeken naar ‘tandarts’, ‘hond’ of ‘gebouw’ dat minder logisch vinden.

Waarom evalueren zonder gebruikers?

Naast de individuele voordelen van elke methode, is efficiëntie het voornaamste pluspunt. De opzet en de uitvoering van een expertevaluatie worden door velen beschouwd als minder tijdrovend en minder kostbaar dan gebruikersonderzoek.

Maar… er zijn ook nadelen

Toch is niet iedereen enthousiast over expertevaluatie. Vergelijkend onderzoek tussen gebruikers- en expertevaluatie toont aan dat experts niet goed in staat zijn om problemen van gebruikers te voorspellen (De Jong & Lentz, 1996; Lentz & De Jong, 1997). Uit deze studies bleek dat zij slechts 10 tot 15 procent van de problemen die met gebruikersevaluatie werd ontdekt, achterhaalden. Daarnaast noemden de experts veel problemen die gebruikers helemaal niet als probleem ervoeren. Ten slotte bestond er weinig overeenstemming in de resultaten van de experts onderling.

Redenen voor dit gebrek aan succes zijn mogelijk dat:

• experts moeite hebben met het voorstellen van begripsproblemen van de doelgroep
• empathie met de doelgroep ontbreekt
• er een kloof bestaat tussen evalueren en het daadwerkelijk gebruiken van de informatie
• experts en de doelgroep verschillen in hun kwaliteitsperceptie

Ik moet hierbij opmerken dat in deze studies geschreven teksten in plaats van websites onderwerp van de evaluaties waren.

Wat vinden jullie?

Kan expertevaluatie gebruikersevaluatie vervangen? Mag expertevaluatie helemaal verdwijnen? Of is het misschien alleen geschikt als aanvulling op gebruikersevaluatie? En waarom (en hoe) dan? Ik ben benieuwd naar jullie ideeën!

Bronnen
De Jong, M., Lentz, L., Elling, S. & Schellens, P.J. (2004). ‘Scenario-evaluatie van gemeentelijke websites. De ontwikkeling en toepassing van een expertgericht evaluatie-instrument.’ In: Aspect, 69. Universiteit Twente.

De Jong, M., & Lentz, L. (1996). ‘Expert judgments versus reader feedback: A comparison of text evaluation techniques.’ In: Journal of Technical Writing and Communication, 26 (4), 507-520.

Landauer, T. K., Foltz, P. W., & Laham, D. (1998). ‘Introduction to Latent Semantic Analysis.’ In: Discourse Processes, 25, 259 – 284.

Lentz, L., & De Jong, M. (1997). ‘The evaluation of text quality: expert focused and reader focused methods compared.’ In: IEEE Transactions on Professional Communication, 40 (3), 224-233.

Welle Donker, M., De Jong, M. & Lentz, L. (2008). ‘Heuristic Web Site Evaluation: Exploring the Effects of Guidelines on Experts’ Detection of Usability Problems’. In: Technical Communcation, 55(4),  392 – 404.