Is het testen van je website bij de doelgroep noodzakelijk voor een succesvolle webevaluatie? Wat mij betreft niet. Leg je website voor aan experts en je komt een heel eind. De vraag is alleen of zij de evaluatie met gebruikers volledig kunnen vervangen. En is dat eigenlijk wel nodig? In dit artikel bespreek ik de mogelijkheden en beperkingen van gestuurde expertevaluatie.
In mijn vorige artikel schreef ik over evaluatiemethoden met behulp van gebruikers. Maar webevaluatie kan ook nog op een andere manier plaatsvinden, namelijk met experts. Hierbij bezoeken communicatie- en/of webexperts een website, waarbij ze de kwaliteit van de site beoordelen. Dit kan uit de losse pols, maar ook aan de hand van hulpmiddelen. Mogelijke manieren van gestuurde webevaluatie met experts zijn scenario-evaluatie, heuristische evaluatie en (een beetje een vreemde eend in de bijt) de Latent Semantic Analysis.
Deze methoden worden voornamelijk ingezet als probleemopsporende instrumenten op bestaande websites (De Jong e.a., 2004). De evaluatie is dan niet bedoeld om een algemeen beeld van de site te vormen, maar om specifieke gebruikersproblemen op te sporen en te verhelpen.
Scenario-evaluatie: de expert als fictieve bezoeker
Bij de scenario-evaluatie bezoeken evaluators met een vooraf opgesteld scenario een website. Hierin wordt een fictieve websitebezoeker beschreven. Zo’n scenario bestaat veelal uit een beschrijving van de context, een aantal concrete vragen en eventueel een karakterbeschrijving met betrekking tot het ‘surfgedrag’ van deze sitebezoeker. De evaluators moeten zich vervolgens inleven in het scenario, en vanuit die rol op zoek gaan naar de antwoorden op de vragen die in het scenario gesteld zijn. Ze moeten hierbij hun expertise volledig gebruiken, en daarnaast rekening houden met de rol die hen is toebedeeld.
Voordelen van deze methode
Voordelen van de scenariomethode zijn dat evaluators:
- zich met name richten op gebruikersproblemen, en minder op hun opvattingen over geslaagde webcommunicatie
- zich beter inleven in de doelgroep dan zonder scenario
- de informatie op een website zelf toe moeten passen, en dus zelf ervaren of een website goed functioneert.
Een voorbeeldscenario: op zoek naar schoolvakanties
Mevrouw van den Berg heeft twee kinderen: een van vier jaar die op de basisschool zit en een van dertien jaar op de middelbare school. In de komende zomervakantie wil zij drie weken naar Frankrijk gaan. Voorlopig denkt zij eraan te vertrekken op 9 augustus en terug te komen op 30 augustus. Zij wil op de website van de gemeente Ede nagaan wanneer de schoolvakanties in de zomer van 2009 vallen.
- Hebben beide kinderen zomervakantie in de periode van 9 augustus tot 30 augustus?
- Zij vermoedt dat ze met het jongste kind van vier buiten de officiële zomervakantie weg mag gaan, maar wil dit voor de zekerheid nog checken op de website. Is het volgens de informatie op de website inderdaad toegestaan om met een kind van vier buiten de schoolvakantie op reis te gaan?
Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter wel een goede opleiding en wil graag het naadje van de kous weten. Ze leest alles wat maar relevant lijkt en geeft niet gauw op.
Heuristische evaluatie: beoordelen via criteria
Bij een heuristische evaluatie maken evaluators gebruik van een lijst met aandachtspunten of beoordelingscriteria (heuristieken), waarmee zij de website nalopen. Per criterium geven ze vervolgens een mening over de kwaliteit. In de lijst zijn meestal toegankelijkheid, gebruiksvriendelijkheid, navigatie en begrijpelijkheid opgenomen. Een van de voordelen van deze methode is dat evaluators geen aspecten van de website overslaan tijdens hun evaluatie. Ook kunnen heuristieken helpen om gestructureerd te werk te gaan bij het evalueren van de website (Welle Donker e.a., 2008).
Latent Semantic Analysis: verband tussen teksten
Een laatste expertmethode is de Latent Semantic Analysis (LSA), waarvan Thomas Landauer de medebedenker is. Dit instrument is gericht op de talige kant van websites. Het is een methode die wordt gebruikt om het verband tussen verschillende teksteenheden (zoals woorden, zinnen en paragrafen) vast te stellen. Dit verband wordt berekend met een computerprogramma, dat hiervoor een zeer groot aantal (Engelse) teksten gebruikt. Het programma rekent uit hoe vaak bepaalde woorden in combinatie met elkaar voorkomen.
Nut van LSA bij webevaluatie
Bij webevaluatie wordt deze methode bijvoorbeeld gebruikt om te bepalen of de benamingen van links waarop moet worden geklikt voldoende overeenkomen met het doel van de websitegebruiker. Als deze bijvoorbeeld op de link ‘Producten’ moet klikken om meer te weten te komen over het melden van een verhuizing, is dat een onlogische stap. De LSA geeft dan ook aan dat deze woorden nauwelijks met elkaar in verband staan. Tussen ‘Wonen’ en ‘Verhuizen’ is de onderlinge overeenkomst daarentegen veel groter. Zelf gebruik maken van de LSA kan hier.
De LSA werkt als volgt:
De main text is het hoofdwoord (of de hoofdwoorden) die je wilt vergelijken. Na ‘submit texts’ verschijnen de resultaten. In dit voorbeeld blijkt dat ‘huis’ het sterkst gerelateerd is aan ‘dak’, en het minst aan ‘tandarts’. Hieruit zou je kunnen concluderen dat mensen die op een website zoeken naar ‘dak’, het logisch vinden om onder ‘huis’ te zoeken, terwijl mensen die zoeken naar ‘tandarts’, ‘hond’ of ‘gebouw’ dat minder logisch vinden.
Waarom evalueren zonder gebruikers?
Naast de individuele voordelen van elke methode, is efficiëntie het voornaamste pluspunt. De opzet en de uitvoering van een expertevaluatie worden door velen beschouwd als minder tijdrovend en minder kostbaar dan gebruikersonderzoek.
Maar… er zijn ook nadelen
Toch is niet iedereen enthousiast over expertevaluatie. Vergelijkend onderzoek tussen gebruikers- en expertevaluatie toont aan dat experts niet goed in staat zijn om problemen van gebruikers te voorspellen (De Jong & Lentz, 1996; Lentz & De Jong, 1997). Uit deze studies bleek dat zij slechts 10 tot 15 procent van de problemen die met gebruikersevaluatie werd ontdekt, achterhaalden. Daarnaast noemden de experts veel problemen die gebruikers helemaal niet als probleem ervoeren. Ten slotte bestond er weinig overeenstemming in de resultaten van de experts onderling.
Redenen voor dit gebrek aan succes zijn mogelijk dat:
- experts moeite hebben met het voorstellen van begripsproblemen van de doelgroep
- empathie met de doelgroep ontbreekt
- er een kloof bestaat tussen evalueren en het daadwerkelijk gebruiken van de informatie
- experts en de doelgroep verschillen in hun kwaliteitsperceptie
Ik moet hierbij opmerken dat in deze studies geschreven teksten in plaats van websites onderwerp van de evaluaties waren.
Wat vinden jullie?
Kan expertevaluatie gebruikersevaluatie vervangen? Mag expertevaluatie helemaal verdwijnen? Of is het misschien alleen geschikt als aanvulling op gebruikersevaluatie? En waarom (en hoe) dan? Ik ben benieuwd naar jullie ideeën!
Bronnen
De Jong, M., Lentz, L., Elling, S. & Schellens, P.J. (2004). ‘Scenario-evaluatie van gemeentelijke websites. De ontwikkeling en toepassing van een expertgericht evaluatie-instrument.’ In: Aspect, 69. Universiteit Twente.
De Jong, M., & Lentz, L. (1996). ‘Expert judgments versus reader feedback: A comparison of text evaluation techniques.’ In: Journal of Technical Writing and Communication, 26 (4), 507-520.
Landauer, T. K., Foltz, P. W., & Laham, D. (1998). ‘Introduction to Latent Semantic Analysis.’ In: Discourse Processes, 25, 259 – 284.
Lentz, L., & De Jong, M. (1997). ‘The evaluation of text quality: expert focused and reader focused methods compared.’ In: IEEE Transactions on Professional Communication, 40 (3), 224-233.
Welle Donker, M., De Jong, M. & Lentz, L. (2008). ‘Heuristic Web Site Evaluation: Exploring the Effects of Guidelines on Experts’ Detection of Usability Problems’. In: Technical Communcation, 55(4), 392 – 404.
Melis danny 
Agnieszka Biela 
Robert Didier 
Robbert 
Hans de Bruin 
Ik denk dat het een kwestie van én én is.
Én met een paar gebruikers testen (hoeft niet per se de doelgroep te zijn)
Én met een expert reviewen (hoeft niet per se met persona’s)
Maar dan minstens even belangrijk: Na de launch testen, testen en nog een testen. Je kunt namelijk in je gebruikerstest en expertreview niet alles eruit filteren. Het blijft toch een gecontroleerde omgeving en real-life gebruikers (en real-life data) zijn onvoorspelbaar.
Overigens een verademing: zo’n artikel met wetenschappelijke bronnen.
Iemand die iets volgens het boekje doet (de “expert”) kan nooit iemand vervangen die geen ervaring heeft. Onmogelijk. Wellicht een AI gevoede bot, maar een ervaren mens kan niet opeens “doen alsof hij geen ervaring heeft”. Fijn dat die onderzoeken die je noemt dat ook bevestigen. Het zwaartepunt van dit artikel is m.i dus dat het *niet* kan. Waarom de titel dan anders insinueert zal wel weer een marketingtechnisch grapje van de schrijver zijn.
Al met al, heb redelijk wat ervaring ni het bouwen van websites (portals, social media, e.d.) en je ziet toch dat gebruikers heel anders denken en doen dan bedenkers, experts, draaiboek-experts. Het is niet anders! Daarom is het wel handig dat een lange periode in “beta” zo populair is. Gratis gebruikerstest én wanneer goed gemeten of veel feedback nuttiger dan een dure zelfbenoemd expert in te zetten.
Uiteraard betreft het dan alleen gebruikers cq. acceptatietesten. De functionele testfases kunnen wel gedaan worden dmv “experts” (draaiboekjes afraffelen).
Ik blijf maar problemen houden met die scenario-analyses. Volgens mij is er fundamenteel iets mee mis. Het kan niet anders, dan dat de opsteller van de scenario’s – bewust of onbewust – zijn eigen oordeel over de site laat meetellen. Neem die Edese moeder die informatie zoekt over schoolvakanties. Dat persona was vast niet zo gedetailleerd beschreven als de opsteller niet al een idee had over wat er mis kon gaan. Hij zegt er expliciet bij dat ze niet zo ervaren is, dus waarschijnlijk was het lastig om de informatie te vinden. Maar ook dat ze niet dom is en niet snel opgeeft. Het was dus de bedoeling dat ze heel goed zou gaan zoeken en het uiteindelijk wel of toch niet zou vinden. Zo bevestigt de uitkomst van die scenario-analyse alleen maar wat de opsteller – een expert ;-) – vooraf al dacht. Om dat te vermijden, zou je het persona eigenlijk moeten maken voordat je de site hebt gezien. Maar zo werkt dat natuurlijk niet in de praktijk. En bovendien krijg je dan juist weer een veel te algemeen persona. Persona’s zijn natuurlijk wel bruikbaar bij webdesign, maar dan als je een site ontwerpt, niet als je hem wilt evalueren.
Wendy, die had al lang gebeld naar school ipv op de site “standvastig” door te zoeken.
Ook ik opteer voor de en-en-methode. Tijdens mijn periode als usabilityanalist merkte ik dat je bij een expertanalyse alle overduidelijke problemen eruithaalt, maar dat de fineses vaak achterwege blijven omdat je gewoon niet alle mogelijke, veelvoorkomende taken kunt verzinnen en uitvoeren.
Ps: met Yves: wat een verademing, een artikel met een expliciet aangegeven wetenschappelijke basis!
Simpel – eerste test: http://fivesecondtest.com en gratis
Blog post:http://bit.ly/VY1qW
Eerst en vooral is een expert review soms de enige methode die kan aangewend worden, zeker bij kleinere projecten zijn eye-track studies, testen met gebruikers, focus meetings, enquêtes, contextuele observaties en andere dingen te duur.
De kwaliteit van de review hangen af van de capaciteiten en ervaring van de expert, maar ook van de tijd die hij krijgt.
In “Heuristic Evaluation Quality Score (HEQS): Defining Heuristic Expertise” kan je lezen dat deze experts gemiddeld 8% van de fouten vinden in één uur tijd (met een marge van 2% to 17%!).
Na twee uren vinden ze gemiddeld 24% van de fouten, de beste experts halen 38% van de fouten er uit.
Ik heb geen weet van cijfers van gewone gebruikers, maar ga er maar vanuit dat ze een stuk lager liggen.
Het klopt dat experts soms andere fouten vinden dan de gemiddelde gebruiker, maar het is niet omdat die laatste dat niet signaleert dat er geen probleem is.
In een ideale wereld zou je verschillende soorten evaluaties samen moeten doen: gebruikers testen, expert reviews, eye-track evaluatie én contextuele observaties. Maar da’s enkel maar haalbaar voor grote en/of belangrijke projecten. In de praktijk zal je keuzes moeten maken: het soort problemen, de usability doelstellingen, het budget, de capaciteiten van de expert zijn dan allemaal zaken die beïnvloeden welke soort evaluaties je gaat uitvoeren.
Ik ga je iets vertellen over een ervaring aan het front…
Er was eens een applicatie en er zat een klokje in verwerkt waarmee gebruikers konden zien hoe lang een bepaalde taak nog duurde. Het klokje was niet grafisch, gewoon een notatie zoals ’12:02′, in een standaard lettertype en grootte.
Het project team vond dit wel fijn en de gebruikers ook. Ze hadden die functionaliteit al 10 jaar in gebruik en niemand klaagde.
Tot ik binnenstapte en kon afdwingen dat er een contextuele observatie kon plaatsvinden. Wat bleek? Dat die mensen een viertal verschillende computers simultaan gebruiken die enkele meters uit elkaar stonden. De mensen gebruikten de klokjes wel, maar ze waren te klein om vanaf een afstand te lezen, bijgevolg wandelde ze van de ene computer naar de andere om de tijd in het oog te houden.
Ik heb op basis van die contextuele observatie dat (en veel andere dingen) laten veranderen in een grafisch metertje dat van op een grotere afstand leesbaar was.
Het gevolg: de mensen stapten minder rond en waren hierdoor minder moe. Ze konden ook hun taken sneller afronden, waardoor de productiviteit steeg. Het was een win-win situatie voor iedereen.
Ik wil gewoon maar aantonen, dat je met expert reviews of met gebruikers testen ook niet alles kunt oplossen. Gebruikers klagen niet altijd, experts ‘zien’ het niet altijd, niet alleen omdat ze te weinig empathie hebben, ook omdat ze soms de exacte context niet kennen of simuleren.