Op een bepaald moment verschijnt een man verkleed als aap in beeld.

Als men achteraf vraagt of men iets vreemd heeft opgemerkt, dan zegt de meerderheid van niet en kunnen ze niet geloven dat er even een aap in beeld was.

Mensen die het filmpje niet kennen: Test je bewustzijn

M.a.w. vraag jezelf eens af hoeveel apen jij al niet gezien hebt tijdens het evalueren van gebruikers.

Leeftijd, geslacht, opleiding e.a. zaken zijn wél interessante kenmerken bij gebruikers. Er geen rekening mee houden is fout. Stel dat je wil meten of Daft Punk goede muziek maakt en dat je dit wel testen in een dans club.

Als je test participanten bestaan enkel uit oma’s en opa’s, dan zal na de eerste beats al, de dansvloer wellicht leeglopen.

Conclusie: Daft Punkt maakt geen goede muziek. Je kan niet veel eenvoudiger een foute conclusie trekken, me dunkt.

Zo is dat met interfaces ook. Een interface moet afgestemd zijn op 4 belangrijke peilers:

* de gebruiker zijn kenmerken
* de taak die hij met de interface verricht
* de omgeving (fysiek maar ook o.a. technisch)
* het doel

Je brengt die dingen in kaart en zal hiermee rekening houden in het selecteren van je test gebruikers. Het risico bestaat dat je anders al snel conclusies trekt zoals in het oma-opa-Daftpunk verhaal.

Laten we even naar een paar zo’n kenmerken kijken:

Animaties en muziek kunnen wel bij kinderen, maar niet bij andere groepen. Het Korte Termijn Geheugen is bij iedereen beperkt, maar vanaf ongeveer 55 jaar gaan de prestaties op dit facet nog meer achteruit. Vanaf ongeveer 50 jaar worden we allemaal een beetje kleurenblind, de lens wordt geler (door ouderdom), waardoor blauw als lichter wordt ervaren.

Ook het geslacht heeft een impact. Vrouwen en mannen zijn niet gelijk, maar wel gelijkwaardig. Ze hebben beide andere motorische en cognitieve vaardigheden. Vrouwen presteren bv. minder goed met commando-taal dialogen (Google gebruikt er één, maar brengt die wel gelaagd).

Opleiding is een ander nuttig kenmerk. Hoog opgeleiden zoeken anders en beter dan laag opgeleiden. Ze kunnen doorgaans ook een rijkere woordenschat aan, hebben minder nood aan “betutteling”.

Niet aanvaarden dat deze dingen bestaan en een invloed hebben op de usability, creëert dus apen. De apen die je niet ziet.

Nielsen heeft niet zomaar het absolute gelijk, zo blijkt uit bovengoemde afweging. Spool en Schroeder tonen aan dat soms slechts 35% van de usability problemen met 5 respondenten worden gevonden, wat m.i. een erg mager resultaat zou zijn. Wat we uit meta-onderzoek zeker weten is dat daaronder zich de belangrijkste usability problemen zullen bevinden, echter de spreiding in mogelijk gevonden usability problemen is met 5 personen vaak te groot. Je weet dan immers helemaal niet welk percentage dan gevonden is. Dat weet je wel bij inzet van een groter aantal respondenten. Een dag extra onderzoek leidt daarbij niet tot belangrijke extra kosten, echter het verhoogt de kwaliteit van het geheel in erg belangrijke mate.
Het ligt m.i. dus aan je onderzoeksdoel en kaders. Snel de belangrijkste zaken boven water, dan ben ik het met je eens: dan is 5-8 (1 dag testen) voor de paar belangrijkste issues mogelijk. Je laat dan wel mogelijk een groot deel liggen. Het is efficient en snel, verre van allesomvattend. Voor grote sites en diepgaandere onderzoeken  (lees: veel taakopdrachten) en meerdere doelgroepen ontkom je op basis van bovenstaande wetenschappers in de praktijk voor een goed gefundeerd oordeel niet aan meer respondenten.
Bovenal is het m.i. niet zo dat een extra dag de onderzoekskosten drastisch verhoogd, bij lange na niet. De extra onderzoeksdag is dan in het totale kader een inspanning van relatief beperkte omvang daar alleen al het voorbereiden van een goed onderzoek (oa onderzoeksplan) vaak ruim een dag werk kost, naast de dagen voor analyse en rapportage. Dit voorbereiden, analyseren en rapporteren verandert niet in hoge mate als er een extra onderzoeksdag aan wordt toegevoegd.