Dat niet elke website het gewenste effect bereikt, zal niemand verbazen. Maar wat te doen als je bezoekers voortdurend de weg kwijtraken, informatie niet begrijpen of zonder leesbril geen kant op kunnen? Eén van de oplossingen: een succesvolle webevaluatie door middel van gebruikersonderzoek. In dit artikel een overzicht van 5 effectieve evaluatiemethoden.
5 evaluatiemethoden
Webevaluatie kan op twee manieren plaatsvinden: met behulp van gebruikers en met behulp van experts. In het laatste geval bezoeken web- en communicatie-experts een website, waarbij ze nagaan of deze site gebruiksvriendelijk is. Bij gebruikersonderzoek bezoeken werkelijke gebruikers of proefpersonen een website, terwijl onderzoekers hun gedrag registreren. Daar kunnen ze verschillende evaluatiemethoden voor gebruiken. 5 doeltreffende manieren op een rij:
- hardopdenkmethode (thinking aloud)
- oogbewegingsregistratie (eye tracking)
- evaluatievragenlijsten
- feedbackfaciliteit
- splittesten
Met de meeste methoden heb ik kennis gemaakt tijdens mijn studie aan de Universiteit Utrecht en het schrijven van mijn scriptie o.l.v. Sanne Elling en Leo Lentz. In samenwerking met onderzoekers van de Universiteit Twente onderzoeken zij momenteel aan de hand van gemeentewebsites de bruikbaarheid van webevaluatiemethoden. Daarbij gaat het onderzoeksprogramma ook na in hoeverre de combinaties van deze methoden effectief zijn voor het achterhalen van problemen op de websites. Overigens volgt mijn overzicht niet exact de methoden die in dit programma worden onderzocht.
De hardopdenkmethode
Een veelgebruikte methode bij webevaluatie is de hardopdenkmethode. Bij een evaluatie met deze methode krijgen proefpersonen een taak voorgelegd, die ze moeten uitvoeren op een website. Vervolgens wordt hen gevraagd om hardop de gedachten te verwoorden die ze tijdens het uitvoeren van die taak hebben. Er zijn verschillende variaties mogelijk:
- Synchroon hardopdenken (concurrent think aloud)
Synchroon hardopdenken is de variant waarbij proefpersonen tijdens het uitvoeren van een taak op een website hun gedachten en handelingen hardop uitspreken.
- Retrospectief hardopdenken (retrospective think aloud)
Bij deze methode werken proefpersonen in stilte aan hun taak. Achteraf verwoorden zij hun gedachtegang met behulp van video-opnamen van hun surfgedrag.
Hardopdenken in teamverband
Deze variant wordt weinig ingezet, omdat er meer proefpersonen voor nodig zijn dan bij de overige varianten. Bij hardopdenken in teamverband moeten 2 mensen samen de taak volbrengen en daarbij uitgebreid overleggen. De gedachte hierachter is dat mensen het makkelijker vinden om met elkaar over een website te praten, dan om in hun eentje hardop te denken.
Onderzoekers verwachtten dat deze verschillende varianten effect hebben op de uitkomsten van de evaluatie, bijvoorbeeld omdat proefpersonen die achteraf verbaliseren zichzelf gedachten toeschrijven die ze tijdens de taakuitvoering niet hadden. Onlangs studeerde ik af op dit onderwerp; daarover in een volgend artikel meer.
De hardopdenkmethode is zinvol omdat onderzoekers hiermee inzicht krijgen in de gedachtegang van webgebruikers. Door zowel te observeren als te luisteren naar de gedachten ontstaat een beeld van de problemen die het werken op een bepaalde website oplevert, en ook waarom deze problemen ontstaan. Daarnaast is deze methode relatief goedkoop en eenvoudig uit te voeren: je hebt slechts een computer en eventueel (bij de retrospectieve methode) opnameapparatuur voor beeld en geluid nodig.
Oogbewegingsregistratie (eye tracking)
Over deze methode is al veel geschreven op Frankwatching, zoals door Charlotte van Dael en Anneriek Poelman. Bij oogbewegingsregistratie voeren proefpersonen taken uit op een website, terwijl al hun oogbewegingen vastgelegd worden met behulp van een eye tracker, bijvoorbeeld de Tobii. Ook de nieuwe website van Frankwatching is met behulp van deze methode geëvalueerd. Met oogbewegingsregistratie kunnen onderzoekers nagaan naar welke items op een webpagina de proefpersonen kijken. En vooral: naar welke items niet.
Oogbewegingsregistratie m.b.v. de Tobii
Door de oogbewegingen van meerdere personen kunnen ook bepaalde patronen in kijkgedrag worden vastgesteld, zoals het ‘F-patroon‘ waarin sitebezoekers webinhoud lezen. Deze en soortgelijke conclusies kunnen de inrichting van webpagina’s beïnvloeden.
Het resultaat van oogbewegingsregistratie is een gaze trail of (bij de combinatie van meerdere registraties) een heatmap. In het eerste geval geeft de grootte van de cirkel de duur van de fixaties (‘het kijken’) aan. Hoe groter de cirkel, hoe langer de proefpersoon heeft gekeken. De heatmap geeft aan waar een groep van proefpersonen veel heeft waargenomen. De rode gebieden zijn het vaakst gezien.
Gazetrail en heatmap
Hoewel deze methode vaak gebruikt wordt, is alleen oogbewegingsregistratie als probleemopsporende methode vaak niet voldoende. Hoewel je ermee kunt achterhalen wat webgebruikers op je website doen, weet je nog niet waarom ze het doen. En juist dat is meestal noodzakelijke kennis om je website te optimaliseren. Ook maakt de geavanceerde registratieapparatuur deze methode relatief kostbaar.
Evaluatievragenlijsten
Vragenlijsten zijn vaak geschikt om voor langere tijd op een website te plaatsen. Het is een methode om ‘werkelijke bezoekers’ van je site te ondervragen: mensen die uit zichzelf op jouw website terecht zijn gekomen. Dimensies waarin je in de vragenlijst bijvoorbeeld aandacht kunt besteden zijn inhoud, navigatie en vormgeving. Toch bestaat er in de wetenschap nog onduidelijkheid over evaluatievragenlijsten: hoe komen mensen aan oordelen, waar baseren ze die op? En wanneer vormen ze die oordelen?
Als je een dergelijke lijst op je website zet, hebben bezoekers de keuze om deze wel of niet in te vullen. Een voordeel daarvan is dat de personen die ervoor kiezen dit wel te doen, serieus zijn. Een nadeel van de vragenlijst is daarentegen dat uit onderzoek blijkt dat de antwoorden die mensen geven niet de weergave zijn van hun ‘echte mening’, maar een weergave van de gedachten die op het moment van het antwoorden het beste bereikbaar zijn in het geheugen. De onderzoekers, Zaller en Feldman, dragen als bewijs de willekeur aan antwoorden aan. Als proefpersonen na een tijdje worden gevraagd dezelfde vraag te beantwoorden, geeft maar de helft hiervan hetzelfde antwoord.
Oproep tot het invullen van een vragenlijst op vtwonen.nl
Feedbackfaciliteit
De vierde methode is het plaatsen van een feedbackfaciliteit op je website. Hiermee krijgen je bezoekers de gelegenheid om per pagina commentaar op de site te geven. Een veelgebruikt instrument daarvoor is de feedbackbutton: een knop die verwijst naar een invulscherm waarop sitebezoekers hun commentaar kwijt kunnen.
Een voordeel van deze methode is dat je het gedrag van een gebruiker in een natuurlijke context onderzoekt. Je kunt op een eenvoudige manier spontaan feedback verkrijgen, en daarmee direct inzicht in problemen, wensen en ideeën van je bezoekers. De gebruiker is dan zowel gebruiker als beoordelaar van je website. In 2007 onderzocht een student van de Universiteit Utrecht het gebruik van de feedbackfaciliteit op gemeentewebsites.
Splittesten
De laatste methode is splittesten, ook wel a/b-testen. Bij splittesten wordt gebruik gemaakt van 2 of meer versies van een website, homepage of webapplicatie, die at random aan webbezoekers worden getoond. Uiteindelijk zal met een van de versies de meeste conversie worden behaald. Welke dat is, kun je achterhalen met gratis software van Google. Deze variant kun je, afhankelijk van je doelstellling, beschouwen als de beste site of applicatie. Splittesten wordt vooral gebruikt bij het evalueren van websites en applicaties met commerciële doeleinden. Een nadeel van deze methode is dat je niet precies weet wat webgebruikers aan de ene website beter vinden, en waarom.
Methoden combineren
Zoals uit dit overzicht blijkt, hebben alle bovenstaande evaluatiemethoden hun voor- en nadelen. Om een zo volledig mogelijke evaluatie uit te voeren is het een logische overweging om een aantal van deze methoden te combineren. Denk daarbij aan oogbewegingsregistratie en hardopdenken of splittesten en een evaluatievragenlijst.
Voor nu ben ik erg benieuwd naar jullie ervaringen met webevaluatie. Welke (combinaties van) methoden zijn volgens jullie succesvol? En welke absoluut niet? Laat het weten!
Bronnen
Van den Haak, M., De Jong, M. & Schellens, P.J. (2003). ‘Retrospective versus concurrent think-aloud protocols: Testing the usability of an online library catalogue.’ In: Behaviour & Information Technology, 22, 339 – 351.
Van den Haak, M. & De Jong, M. (2003). ‘Exploring two methods of usability testing: concurrent versus retrospective think-aloud protocols.’ In: IEEE International Professional Communication Conference, 21-24 Sept. 2003, Orlando, Florida, USA, 285 – 287.
Van den Haak, M., De Jong, M. & Schellens, P.J. (2009). ‘Evaluating municipal websites: A methodological comparison of three think-aloud variants.’ In: Government Information Quarterly, 26, 193 – 202.
Zaller, J. , Feldman, S. (1992). ‘A simple theory of the survey response: answering questions versus revealing preferences’. In: American journal of Political Science, nr 3, 579 – 616
Jasper van Weerd 
Dries bultynck 
Eduard Blacquière 
Jip 
Frank Janssen 
Mooi overzicht!
Hele aardige samenvatting. Ik mis er nog wel een paar. Vergeet niet card sorting voor het maken van de structuur van je site, je eigen statistieken, of software als http://www.techsmith.com/morae.asp en http://www.speed-trap.com/. Vooral de eerste is erg goed. Het gaat namelijk niet alleen om het registreren van het probleem, maar ook om draagvlak bij je directie voor investeringen om de site uiteindelijk te verbeteren. Laat ze drie keer een filmpje zien van een verdwaalde en boze bezoeker en ze maken zo budget vrij.
Ik ben zelf een groot voorstander van een mix van methodes. En begin vooral met kijken naar je bestaande site als je met een nieuw project wil beginnen.
De kracht van eye tracking zit absoluut niet in heat maps, gaze trails en andere mooie plaatjes. De kern van goed usability onderzoek met respondenten uit de doelgroep is het observeren van de betreffende personen die goed ontworpen taakgerichte opdrachten uitvoeren. Het meest krachtige aan eye tracking is het beter kunnen observeren en analyseren tijdens het onderzoek door verbanden te kunnen leggen tussen cognitie en actie. Door te weten wat men ziet (en zoals je terecht opmerkt vooral ook wat men niet ziet) en het op verantwoorde wijze achterhalen van de bijbehorende cognitieve relevantie kan het gezochte verband (of het onderbreken daarvan) worden gelegd. Zonder eye tracking mist de onderzoeker een grote hoeveelheid belangrijke informatie. Immers, als men niet weet waar de respondent naar kijkt kan ook het verband tussen kijken – congnitieve relevantie en actie niet worden gelegd.
Zelf hebben we in het verleden jarenlang de door @Etienne aangehaalde Morae sofware gebruikt en daarna als eerste commerciële organisatie in de Benelux Tobii Eyetracking. Terug naar Morea voelt als autorijden met een blinddoek op: je weet dat het niet goed gaat, maar niet waar, wanneer en hoe erg.
Heat maps (en gazet rails) kunnen pas worden toegepast vanaf 30 respondenten (ref: onderzoek van Dr J. Nielsen, gepresenteerd tijdens de Usability Week Conference 2006, Londen) die allen uit dezelfde doelgroep komen en dezelfde taak uitvoeren (!). Dat maakt het onderzoek eerder duur dan de eye tracker zelf. Met minder respondenten en met ondersteuning van de meest krachtige wijze van eyetracking kunnen 97% van de usability problemen worden gevonden (zie Frankwatching artikel over de succesfactoren van usability onderzoek bij NS en SNS). Wel kunnen heat maps beneden de 30 respondenten als illustratie worden toegepast, echter dat heeft geen onderzoekswaarde maar slechts de illustratiewaarde in rapporten.
Ik bestrijd dat het onderzoek duurder wordt omdat de eye tracker en software ‘duur’ zou zijn: wij komen op fors minder dan EUR 100,- per onderzoek (gerekend op drie jaar afschrijving en uiteraard voldoende onderzoeken). Er is dus op het totaalbedrag weinig reden om het kwalitatief veel beter onderzoek met eye tracking als significant duurder neer te zetten op basis van kostprijs.
Overigens is het plaatje in het artikel met betrekking tot de oogbewegingsregistratie mbv de Tobii (eye tracker) erg vreemd: naast de respondent zit een persoon te schrijven. Eigenaardig. Hooguit dient de onderzoeker aanwezig te zijn die op zijn of haar scherm real time de eye tracking informatie ziet. Op de wijze van onderzoek die (wellicht onbedoeld) gesuggereerd wordt gaat een massa aan informatie verloren.
Grotendeels eens met de reactie van @Ronald. Kleine kanttekening. Ik zie de filmpjes van Morae als nuttig voor onderzoek, maar nog veel nuttiger voor draagvlak als je iets wilt veranderen en daar budget voor moet regelen bij de baas. Belangrijk is ook de prijs. Morae is een goedkoop alternatief voor eyetracking, je mist zeker inzichten, maar desalniettemin zeer effectief voor change. Overigens zijn er ook gratis alternatieven beschikbaar. Voor de rest: eens!
@Joko: Bedankt voor het compliment!
@Etienne: Bedankt voor je reactie. Ik heb cardsorting bewust uit dit rijtje gelaten, omdat ik dit niet zozeer een evaluatiemethode vind, maar meer een methode om vooraf de structuur van de website te bepalen of deze te herzien bij een bestaande structuur. Daarbij begin je volgens mij op een ‘nulpunt’, waarbij weinig tot geen rekening houdt met de al bestaande structuur. Maar misschien zijn er ook gevallen waarbij dat anders kan.
@Ronald: Jij eveneens bedankt voor je uitgebreide reactie. Wellicht heb ik het wat te zwartwit gesteld door te zeggen dat eye tracking simpelweg (en overigens relatief) kostbaar is. Dat is natuurlijk afhankelijk van de manier waarop je de apparatuur gebruikt. Naar mijn idee is het aanschaffen van een eye tracker een aardige investering, maar ik bedoelde daarmee niet te zeggen dat het (laten) uitvoeren van een evaluatie m.b.v. eye tracking duurder is dan ander evaluatieonderzoek.
Daarnaast ben ik het met je eens dat het plaatje wat ongelukkig gekozen is. Ik zou me een situatie kunnen voorstellen waarbij eye tracking en hardopdenken worden gecombineerd, en waarbij het nodig is om derhalve aantekeningen te maken. Maar je kunt ervan uitgaan dat er dan geavanceerdere apparatuur beschikbaar is, waardoor de onderzoeker niet hoeft plaats te nemen naast de proefpersoon. Dit zal de onderzoeksresultaten niet ten goede komen (blijkt ook uit eigen ervaring). Overigens komt dit plaatje van de website van Tobii.
Ten slotte beweer ik in mijn artikel niet dat de kracht van eye tracking in ‘mooie plaatjes’ zit. Ook hier had ik wat genuanceerder kunnen zijn door niet te zeggen dat heatmaps en gazetrails ‘het’ resultaat zijn. Overigens ben ik van mening dat juist de verbanden tussen cognitie en actie gelegd kunnen worden door eye tracking te combineren met hardopdenken. Zoals ik al zei maakt eye tracking alleen niet voldoende duidelijk waarom gebruikers bepaalde acties ondernemen.
Allereerst wil ik de complimenten geven voor deze post / jouw verhaal.
Ik heb een kleine toevoeging, althans ik wil mijn mening met je delen.
Mijn voorkeur gaat uit naar een gebruikersonderzoek gevolgd door een expert review om de bevindingen bij te sturen op basis van ervaringen. Binnen een gebruikersonderzoek adviseer ik een combinatie van hardopdenken met eyetracking. Dan wel realtime – navigatiegedrag. Waarbij je het gedrag analyseert van een gebruiker die vanuit eigen omgeving jouw website bezoekt. Uiteraard zie je dan niet waar de gebruiker kijkt, maar wel hoe hij met zijn muis navigeert. Erg waardevol. Zeker omdat uit onderzoek is gebleken dat het kijkgedrag afwijkend is van het uiteindelijke klikgedrag. Het hangt er daarom vanaf wat je doelstelling is. Wat wil je meten…
Synchroom hardopdenken levert de meest waardevolle resultaten, beslissingen worden genomen binnen een seconde. De eerste reactie is erg belangrijk. Laat je hier tijd overheen gaan, dan kan de mening veranderen en zijn niet meer betrouwbaar.
Laat gebruikers samen een taak uitvoeren. Hoe vaak gebeurd het wel niet dat 2 mensen samen achter een computer zitten, bijvoorbeeld bij het boeken van een reis (online). Door meerdere personen te betrekken bij het uitvoeren van een taak, ontstaan interessante discussies die kunnen leiden tot nieuwe inzichten. Als expert dien je toe te kijken en notitties te maken, het gefet je nieuwe inzichten.
Ik ben ook voor het uitvoeren van van een taak door een gebruiker binnen zijn eigen omgeving. Als een gebruiker bij jou op locatie is, zal hij bijvoorbeeld sneller afgeleid kunnen zijn door omgevingsgeluiden etc. het onbewuste kan zijn gedrag beinvloeden. Stel hem in ieder geval op zijn gemak, bied koffie aan etc.
Een belangrijk element vind ik ‘method acting’ als ux epert ga je je inleven in de gebruiker met een specifieke use case en persona. Doe je voor als iemand die autistisch is? Bekijk de website vanuit zijn ogen. Goed, niet iedereen kan en wil dit. Het is wel ene mooie aanvulling op bestaand gebruikersonderzoek.
Feedback is welkom.
Gr.
Michel Tel
@ Michel: expertreviews zijn absoluut een waardevolle manier van evalueren. ‘Toevallig’zal mijn volgende artikel over deze methode van webevaluatie gaan.
Een nadeel van synchroon hardopdenken is overigens dat het voor mensen heel onnatuurlijk is om een taak op een website uit te voeren en tegelijkertijd hardop te praten. De cognitieve (over)belasting die dat tot gevolg heeft kan er voor zorgen dat proefpersonen niet direct adequaat benoemen wat zij ervaren. Ik zou daarom niet per se willen stellen dat synchroon hardopdenken de waardevolste resultaten oplevert. Dat hangt, zoals je als zegt, erg van je doelstelling en de situatie af.
Daarnaast is een nadeel van gebruikersonderzoek in de eigen omgeving van de proefpersoon dat je hier niet over de juiste apparatuur beschikt. Dat kan betekenen dat je als onderzoeker naast of achter de proefpersoon moet plaatsnemen om te observeren wat hij/zij doet, wat weer kan leiden tot een zenuwachtige proefpersoon. Dus ook gebruikersonderzoek in eigen omgeving is niet per definitie ideaal.
Ik stel me heel wat vragen over de toegevoegde waarde van eyetracking bij het testen van een specifieke website. Het grote probleem van eyetracking is dat het namelijk niet het verschil kan duidelijk maken tussen kijken en daadwerkelijk zien. Het kan zijn dat iemand kijkt naar een bepaald punt maar absoluut niets ziet en zijn hersenen niet veel registreren. (Hoe vaak kijk ik niet in de koelkast op zoek naar de boter zonder die boter te zien. En oh ja, ik kijk vaak naar de plek waar die boter staat, maar ik zie ze dus niet.).
De grote verdediging van eyetracking door Ronald moet met een grote korrel zout genomen worden. Ze wordt volgens mij nogal hard ingegeven vanuit commerciële doeleinden. (”Wij hebben het dus moet ik zeggen dat het fantastisch is.”)
Lees daarom eens de zeer interessante discussie over dit onderwerp op http://www.ixda.org/discuss.php?post=44684 met o.a. bijdragen van Jared M. Spool (contra) en Nick Gould van Catalyst (pro). Het werpt toch eens iets ander en wat neutralere kijk op de toegevoegde waarde van eyetracking.
Oh ja, ik geloof heel hard in eyetracking voor meer algemene onderzoeken, zoals bijvoorbeeld leessnelheid en algeme scanpatronen op pagina’s.