Usability tests met kinderen: humor en horror in de ervaringen van Sony

Iedereen weet dat het belangrijk is om de gebruiksvriendelijkheid van producten te testen met echte gebruikers. Maar hoe kun je dat het beste doen als je product in een sociale context wordt gebruikt, of als een belangrijk deel van je gebruikers uit kinderen bestaat? Sony Computer Entertainment heeft hierin door schade en schande een aantal belangrijke lessen ontdekt. Wat kunnen we hier van leren?

Afgelopen donderdag en vrijdag werd in Utrecht het Festival of Games georganiseerd. Een congres waarin games uit allerlei perspectieven werden belicht. David Tisserand vertelde namens Sony Computer Entertainment Europe zijn ervaringen met het testen van sociale games. Deze lessen zijn echter niet alleen in de gamesindustrie van belang. Ze zijn toepasbaar voor iedereen die een product ontwikkelt dat in een sociale omgeving door een brede doelgroep wordt gebruikt. Wat kunnen we van Sony leren?

Test met je echte doelgroep

Bij sociale games kun je denken aan SingStar of games die zijn gebaseerd op kinderfilms. Tisserand vertelt dat sociale games in belangrijke opzichten verschillen van de klassieke spelletjes voor fanatieke gamers. De sociale games worden gespeeld door een zeer breed publiek. Vaak zijn kinderen ook een deel van de doelgroep. Het is dus belangrijk om deze games met andere doelgroepen te testen.

Tisserand liet voorbeelden zien van karaoke-games. Vanuit Sony was er goed nagedacht over de doelgroep voor deze game: die zou bestaan uit kinderen en tieners, maar ook uit ouders. Voor beide leeftijdsgroepen werden daarom geschikte songs geselecteerd. Uit de gebruikerstest kwam echter een grote verrassing: de muziek die was toegevoegd voor de oudere generatie was ook erg populair onder de tieners. Zij kenden alle songs doordat hun ouders er vaak naar luisterden en speelden ook deze muziek graag in het spel. Een inzicht dat zonder de gebruikerstest met tieners niet naar voren was gekomen.

Hoe vertellen kinderen wat ze vinden?

Een belangrijk probleem bij tests met kinderen was om ze aan het praten te krijgen. Kinderen vinden het moeilijk om in een interview onder woorden te brengen wat ze wel of niet leuk vinden. Daarom bedacht Sony om kinderen gezamenlijk te laten gamen en nodigden ze koppels van broers/zussen uit. Dit was echter geen succes.

Tisserand liet een vermakelijke korte video zien met een schreeuwende broer en zus die knalharde ruzie maken. Hilarisch, maar niet erg productief als je wilt achterhalen hoe je product moet verbeteren. Toch bleek het uitnodigen van kinderen in koppels wel een succes, mits het niet ging om familie maar om vrienden. Spelende vrienden vertelden elkaar precies wat ze van een game vonden en zo kreeg Sony heldere inzichten wat er nog beter kon in het spel.

Test sociale games met vriendengroepen

Een volgende uitdaging voor Sony was het testen van sociale games die je samen met vrienden speelt. Volgens de regels van het testen werd een groep spelers zorgvuldig geselecteerd en uitgenodigd om samen een game te spelen. Dit was echter geen succes. Het was, zo memoreerde Tisserand, “als een feest waar niemand elkaar kent”. Interactie tussen gamers kwam niet goed op gang en tests waren onbruikbaar.

Toen probeerde men het anders. Er werd één gamer volgens een profiel geselecteerd en zij was vrij om een groepje vrienden mee te brengen. Zou dit wel werken? Sony had nu immers geen controle op de groep testers die zou komen opdraven. Toch bleek dit een groot succes. De vrienden gingen op een heel natuurlijke manier met elkaar gamen en zo werd precies duidelijk hoe goed de dynamiek van de game was. Omdat interactie tussen vrienden een essentieel element van de speelervaring was, was het belangrijk om vrienden samen te zien spelen. Via een geregisseerd panel bleek dit niet te testen, maar spontane uitnodigingen onder vrienden werkten wel uitstekend.

IT problemen bij thuis testen

Om de games zoveel mogelijk in de sociale omgeving van mensen te testen, werden er speciale IT-kits ontwikkelt waarmee beta-versie van een game bij mensen thuis kon worden opgebouwd. Dit bleek echter geen succes. In de huiskamers thuis was een grote veelheid aan apparatuur die vaker niet dan wel bleek te passen bij de testkit. Men was dan meer tijd kwijt met het oplossen van IT-problemen dan met het doen van tests, zeer ineffectief. Sony besloot daarom om zelf een huiskamer na te bouwen en gamers voortaan hier uit te nodigen. Dat was een stuk effectiever.

Testen in een echte omgeving

Hoewel IT soms voor problemen kan zorgen bij het uitvoeren van tests bij mensen thuis, bleek dit bij een aantal games toch essentieel. Tisserand liet voorbeelden zien van een spel op de PlayStation Portable dat gebruik maakt van augmented reality. Kinderen moesten hierbij kleuren zoeken in hun omgeving en deze laten zien aan de camera van hun game-apparaat.

Uit tests bij mensen thuis bleek al snel dat Sony de complexiteit hiervan danig had onderschat. Zo bleek de kleur ‘rood’ in de praktijk een veel breder spectrum te bevatten dan de camera kon herkennen. Dankzij de tests werd dit duidelijk en kon de software eenvoudig worden aangepast. Ook bleek de camera problemen te hebben met het herkennen van kleuren op verticale oppervlakken, iets dat werd opgelost door in de handleidingen duidelijker aan te geven dat kleuren op een horizontaal oppervlak moesten worden gescand. Deze issues kwamen pas naar voren toen men kinderen in de huiskamer en tuin met de game bezig zag.

Hoe ontdek je patronen in het gebruik?

Een belangrijk aspect bij sociale games is dat mensen niet langer urenlang spelen. Een sociale game wordt even snel opgepakt voor een korte speelsessie. Het is lastig om dit in een laboratorium-situatie goed te testen, als je mensen voor een speelsessie van meerdere uren uitnodigt. Sony heeft daarom ook testkits ontwikkeld die langere tijd bij geselecteerde gebruikers komen te staan.

Dit werd onder meer toegepast bij de ontwikkeling van een fitness-game. Het spel kwam redelijk goed uit tests, totdat mensen er thuis mee aan de slag mochten. Toen zag men dat gamers de eerste dagen veel speelden, maar dat het spel al snel in een kast belande om er niet meer uit te komen. Uit de test bleek dat er duidelijk nog een belangrijk element aan de game ontbrak. Toen Sony extra support en feedback in de game ging geven, bleven gamers veel langer spelen en vaker terugkomen. Dit was zonder de tests bij mensen thuis niet ontdekt.

Relevant voor sectoren

Al met al heeft David Tisserand een razend interessant inkijkje gegeven in het testlab van Sony. Iedereen weet dat gebruikerstest belangrijk zijn. Tisserand liet echter zien dat het uitvoeren van zulke tests niet zonder hindernissen is. Er zijn onverwachte obstakels, die echter vaak met pragmatisch denken zijn te overwinnen. Vooral bij producten die worden gebruikt in een sociale omgeving, zoals games, spelen hele nieuwe issues waar je goed rekening mee moet houden.

Het is interessant dat deze aspecten natuurlijk niet alleen bij games van belang zijn. Elk product of dienst die wordt ontwikkeld voor gebruik in een sociale omgeving, en dat zijn er vandaag de dag heel veel, zou in die natuurlijke sociale omgeving getest moeten worden. Tisserand gaf interessante inzichten over hoe je zulke tests kunt opzetten, inzichten die voor elke industrie met sociale producten de moeite waard zijn.