Gebruikstests werken. We weten het al jaren. Toch is er nog regelmatig discussie over soorten en smaken van gebruikstests. Met een paar collega’s voerden we bij wijze van experiment een gebruikstest als straatonderzoek* uit. Lees wanneer zo’n gebruikstest op straat een optie is. Of bekijk eerst de video om te zien wat Funda, Jaap.nl, Iens, Thuisbezorgd.nl, Ouders.nl en Girlscene.nl, de geteste sites, er van vonden.
Videoverslag Case ContentKings op Marketing3
Discussie over gebruikstests
Hoewel de experts van de meerwaarde van een gebruikstest wel overtuigd zijn, is een gebruikstest niet onomstreden. Bekende minpunten zijn:
- Een gebruikstest kost tijd, met name doorlooptijd van het ontwerpproject en dus geld.
- Een gebruikstest is kwalitatief onderzoek: de resultaten kunnen aanleiding geven tot verschillende interpretaties.
- Een gebruikstest opzetten en uitvoeren vraagt specifieke expertise voor opzet en interpretatie.
Daar staan natuurlijk de bekende pluspunten tegenover:
- De validiteit van gebruikstest is groot: de aangetroffen knelpunten die representatieve proefpersonen tegenkomen zijn hoogstwaarschijnlijk precies dezelfde als die van de doelgroep.
- Een gebruikstest verschaft unieke inzichten die niet met andere methoden, zoals vragenlijsten (‘wat vindt u van …’) of webanalytics (‘wat gebeurt er wanneer en waar’) verkregen kunnen worden: ‘waarom wordt hier (niet) geklikt?’
- Gebruikstest zijn een goede bron voor innovatie: ze genereren suggesties voor nieuwe of betere producten.
Wij voegen er dan graag nog een aspect aan toe. In onze ervaring ondersteunen gebruikstests ook organisatieveranderings- processen. Voor veel organisaties is de overgang naar transparantie of vraaggericht werken immers problematisch. Gebruikstests zijn prima instrumenten om de vage en onbekende ‘klant’ en zijn behoeften en vragen zichtbaar te maken. Persona’s gebruiken we natuurlijk ook al jaren, maar één fragment van een échte gebruiker die voor de camera ontploft… impact gegarandeerd!
Discussie over uitvoering
Ook over de uitvoering van de gebruikstest wordt al heel lang gediscussieerd. Hoeveel proefpersonen heb je nodig? Totdat Nielsen begon met zijn ‘Discount Usability Engineering’ was een steekproef van 25 tot 30 proefpersonen heel gewoon.
In de klassieke usabilitylabs stond een team van ergonomen, psychologen en ontwikkelaars klaar om te observeren, vast te leggen en achteraf te interpreteren. Een dagje usabilitylab kostte vlotjes 25.000 guldens (weet u nog wel?). Sommige tests werd ‘hardopwerkend’ uitgevoerd, waarbij de uitgesproken gedachten werden uitgeschreven. Deze transscripties werden vervolgens geanalyseerd. Hard werken.
Sinds Nielsen werken we met andere aantallen. Getallen van 5 tot 8 proefpersonen hoor je veel. Cruciaal is de gedachte achter Nielsen’s pleidooi voor deze lagere aantallen: een gebruikstest is géén kwantitatief onderzoek. Een goede gebruikstest dient namelijk het herontwerp. Zodra er zich ernstige knelpunten voordoen, geeft dat richting aan het herontwerp. Ook als het probleem zich maar twee keer voordoet.
Hardopdenken? Mondje dicht?
Een andere discussie over varianten is die over hardopdenken en interventies. Moet je proefpersonen hardop laten denken tijdens de test of niet? Mag je als onderzoeker vragen stellen tijdens de sessie?
Hardopdenken beïnvloedt de taakuitvoering, zoveel is zeker. Maar de knagende vraag is: krijg je met zwijgende respondenten voldoende inzicht in het knelpunt dat optreedt? Is achteraf doorvragen dan wel voldoende?
Idem geldt voor interventies van de onderzoeker. Voor sommigen is het klip en klaar. De interviewer heeft naar zijn mening slechts één taak tijdens het onderzoek namelijk “kop dicht en luisteren”. Inderdaad is het onze ervaring dat vragen erg storend kunnen zijn. Voor je het weet doet je proefpersoon vooral voor jou als ‘charmante onderzoeker’ zijn best. Maar voor iemand als Ben Vroom ligt dat veel genuanceerder.
Al met al zijn verschillende keuzes verdedigbaar. Steve Krug, usability expert en auteur huldigt misschien het beste uitgangspunt: “elke test is beter dan géén test”. Ook testen met een collega in plaats van een klant. Ook met een steekproef van vier in plaats van acht.
Voor ons geldt dat we graag werken met direct interpreteerbare observaties. En dat betekent: hardopwerkend, mét -voorzichtige- interventies.
Context als onderzoeksobject
We zien usability namelijk altijd in samenhang met de context. En een neutrale testlocatie heeft juist géén context, en soms een verkeerde. Iedere onderzoeker kent wel de proefpersoon met responditis die na een aantal totaal mislukte taken “álles geweldig” vindt aan de site.
Wanneer inzicht in de context cruciaal is gebruiken we daarom graag de variant RealityCheck: een gebruikstest bij proefpersonen thuis. Deze varianten hebben we uitgevoerd voor Rabo Mobiel en het Juridisch Loket. Met de radio aan, het kind op schoot en de hond die blaft. Juist over de context en de taakopvatting verschaft de gebruikstest RealityCheck extra inzichten.
Opzet en aanleiding straatonderzoek
Het idee van een gebruikstest op straat kwam al met al niet helemaal uit de lucht vallen. Maar… een beetje vreemd was het natuurlijk wel. Maar op straat heb je geen last van beroepsrespondenten en je kunt er wel flink meters maken. Althans dat was de gedachte.
Het congres Marketing3 vormde de aanleiding. Marketing in tijden van schaarste, dan wil je met minimale inspanningen maximaal resultaat. Geen lab en respondenten dus, maar gewoon de straat op. Voorafgaand aan Marketing3 hebben we een straatonderzoek uitgevoerd naar kernfunctionaliteit van zes sites rondom drie thema’s:
Wonen
www.funda.nl (spreker: Jeroen Wilhelm) en
www.jaap.nl (spreker: Hans Voorn)
Eten
www.iens.nl (spreker: Iens Boswijk) en
www.thuisbezorgd.nl (spreker: Jitse Groen)
Community
www.ouders.nl (spreker: Henk Boeke) en
www.girlscene.nl (spreker: Monique van Loon)
In Hoog Catharijne hebben we in de -koude!- stationshal mini-gebruikstests afgenomen. De resultaten werden op Marketing3 gepresenteerd in de vorm van filmfragmenten. De eigenaren van de sites konden daar vervolgens op reageren.
Reacties van Funda, Jaap, Iens, Thuisbezorgd, Ouders en Girlscene
Tijdens het debat ontmoetten Jeroen Wilhelm (funda.nl) en Hans Voorn (jaap.nl) elkaar voor het eerst in het echt. Dat was in ieder geval een opvallend collegiaal moment, en voor de collega’s van DutchCowboys zelfs aanleiding voor een fotomomentje. Konden de ouders van Henk Boeke (ouders.nl, de oudste community van Nederland) en de meiden van Monique van Loon (girlscene.nl, website van het jaar 2007) iets gemeenschappelijks vinden in de resultaten? In ieder geval konden Iens Boswijk (iens.nl) en Jitse Groen (thuisbezorgd.nl) het zeker met elkaar vinden. Gloort daar iets web 2.0-achtigs aan de horizon? Afijn, bekijk daarvoor het videoverslag.
Resultaten onderzoek
Wat zijn onze ervaringen geweest met het straatonderzoek? Een paar punten:
- Ook zeer korte gebruikstest (10 minuten of minder) kunnen – verrassend veel – relevante inzichten opleveren over de waarde van de online propositie en usability.
- Voorbijgangers zijn bruikbare respondenten. Iedereen is voldoende thuis op het web om relevante en bruikbare reacties te kunnen geven.
- Niet alle doelgroepen zijn overdag op straat te vinden. Waar waren die vrijdag bijvoorbeeld de ouders met jonge kinderen?
- Bij analyse is nog steeds expertise op het gebied van usability en onderzoek nodig om het kaf van koren te scheiden.
- En, inhakend op de discussie tussen Keen en Dullaart op Marketing 3 blijft het vertalen van knelpunt naar voorstel ons inziens ook een taak voor experts (of expert-users natuurlijk :-)
Tips & trucs Usability op straat
Kort en goed: wanneer is een gebruikstest op straat een goed idee?
- Als de beoogde doelgroep breed is, en de site met een eenvoudige opdracht te testen is.
- Als de eerste indruk telt: op straat lijdt men niet aan responditis.
- Als de opdrachtgever zoekt naar extra overtuigingskracht van de man in straat.
Voor complexere taken en meer gedetailleerde interface vraagstukken moet je gerichter testen. Met beter geselecteerde respondenten en met meer en uitgebreidere opdrachten.
Gebruikstest StreetWise
De standaard gebruikstest is voor ons zeker niet afgeschreven. Maar deze specifieke variant van de gebruikstest, door ons maar voor het gemak maar gebruikstest StreetWise gedoopt, is wat ons betreft een nuttige aanvulling op het usability-instrumentarium.
* En ja, ons idee van een straatonderzoek was ontstaan los van het Marketingfacts plan voor de babbelbox. Vraag maar aan Marco. Hij zou samen met ‘onze’ Frank in een debat. Quid non. Synchroniciteit of gewoon toeval?
Stem op Usability op straat
85 stemmen
nico 
JohnT 
Remy Steijger 
Jos Govaart 
Joeri Casteleyn 
Zoals de zelfbenoemde ‘straat-o-loog’ Pim van den Berg zegt: “Blijf niet achter je bureau zitten. Bij alles wat je onderneemt, moet je contact maken met je medemens. Bij alles wat je in de wereld ziet, is de klant de sleutel tot succes.”
(boek “Ondernemen is een straatfeest. Perspectief op de 21ste eeuw”)
@ bureau BM: zo is dat. Met dank voor de steun.
Ken ik nog een anekdote over BTW.
Een grote vrachtwagenfabrikant (uit het zuiden des lands?) haalde jaren geleden een megaorder binnen voor Saoudie Arabië.
Probleem: Bij pech is in de woestijn geen ANWB.
Probleem 2: de chauffeurs daar zijn veelal analfabeet. Oplossing: een handleiding in de vorm van een stripverhaal: het laat aan de hand van een blauw mannetje zien hoe je de meeste reparaties zelf kan uitvoeren.
De vrachtwagens worden geleverd.
Eerste pechgevallen… Watsgebeurt?
Chauffeurs zitten doodgemoedereerd langs de kant van de weg te wachten in de schaduw van de vrachtwagen.
Te wachten.
Op het blauwe mannetje.
Moraal: idem aan die van jou. Sommige problemen kun je niet vanachter je bureau ontdekken. Out in the field dus.
(Sailliant: anekdote kwam ter sprake van het interview dat Ben Vroom mij afnam voor Tekstblad. Vervolgens schreven we samen 4 jaar lang een column voor Communicatie ;-)
Wat een lange reactie – zucht. Zal t nooit meer doen.
Wat ik mij nou afvroeg, staan de fimpjes van de test ergens online, dat wij als lezers van dit artikel nou eens een idee krijgen, hoe jullie testpersonen het er vanaf brengen.
@Jasper: dat is nou toevallig. Tijdens het congres liep er een concullega van Jaap.nl en Funda.nl rond met dezelfde vraag… ;-)
We sturen de integrale versie met alles resultaten keurig aan de dames en heren van de verschillende sites, en dat is het dan helaas.
Maar ik zal het aan ze voorleggen, ok?
@Rob; fantastisch, ik ben voor een culinair dienstverlener een advies aan het opstellen voor hun website. Dan is het altijd leuk om te zien hoe mensen tot conclusies komen en hoe klanten het er af brengen. Doordat ik het uitvoer in een studieomgeving heb ik niet de resources (buiten familie, vrienden > niet allen in mijn scope) om dit onderzoek zelf uit te voeren. Maar als ik anderen het zie uitvoeren in de genoemde filmpjes, heb ik wel de mogelijkheid om een kijkje te nemen in de keuken van zo’n test.
[...] Gebruikstests werken. We weten het al jaren. Toch is er nog regelmatig discussie over soorten en smaken van gebruikstests. Met een paar collega’s voerden we bij wijze van experiment een gebruikstest als straatonderzoek* uit. Lees wanneer zo’n gebruikstest op straat een optie is. Of bekijk eerst de video om te zien wat Funda, Jaap.nl, Iens, Thuisbezorgd.nl, Ouders.nl en Girlscene.nl, de geteste sites, er van vonden. Lees verder [...]
Over de hardop denk methode. Ik maak hier geen gebruik van, een website bezoek is een erg intuitief proces en er zit geen leerbaarheid in, je zou niet met een bepaalde website moeten ‘leren’ te interacteren. Als je gebruikers vraagt hardop te denken, handelen ze door eerst te denken, terwijl je zo een website niet ‘bezoekt’. Interviews na de testen geven bruikbare inzichten. Als je al vraag wat iemand er van vond krijg je genoeg informatie los.
Goed experiment en wat blijven de website eigenaren lekker eigenwijs. De één zegt dat de aandacht op de snelheid moet liggen, de ander is bang voor eindeloze discussies tussen de eindgebruikers. Maar moet een website eigenaar niet blij zijn als een bezoeker op zijn site komt en niet de bezoeker met wat hij aanbiedt? Concurrentie genoeg hoor!
@Yvonne: zeker, als je vooral interface wilt onderzoeken en duiden kan het praten ook achteraf.
Blijft maatwerk dus.
En inderdaad, ik wil (in Rotterdam ?) nog wel een keer een worksjoppie doen met adviescollega’s “Hoe vertel JIJ het slechte nieuws aan jouw klant?” Is vast gezellig.
;-)
Regelmatitg kijk ik naar Youtube. Sinds kort kunnen we downloaden en via realplayer kon ik een programma
downloaden waarmee je deze video’s op dvd kon zetten en zodoende afspelen op je tv.
Ik heb keurig € 24.95 via creditcard betaald maar het programma doet het niet.
Heen en weer geemaild maar men zegt dat ik cd programma heb gedownlaod, en dta hoef ik niet en zo staat het ook niet vermeld.
Weg geld en niets mee opgechoten. Wie heeft ervaring met Realplayer en hoe kan ik wel videofilmpjes branden ?
Ik ben een digibeet en ongeduldig.
Wel eens interessant om te zien… Altijd leuk om te horen wat de mensen ervan vinden…
Liefs, Liese
http://www.fashionata.be