Alternatief voor traditionele pretests bij nieuwe interactieve concepten

Bij de ontwikkeling van traditionele campagnes (print, tv)  vraagt een opdrachtgever vaak vooraf om een pretest van het concept. De opdrachtgever/adverteerder wil inzicht krijgen in de verwachtte effectiviteit van het idee dat het reclamebureau heeft ontwikkeld. Begrip van de boodschap, de likeability, de mate waarin de creatie werkt zoals het bedoeld is en de merkkoppeling staan daarbij centraal.

Onderzoeksaanpak

De onderzoeksaanpak is vrijwel altijd gelijk. Een concept wordt tegen zo laag mogelijke kosten zo goed mogelijk uitgewerkt en dan voorgelegd aan de doelgroep. Een commercial wordt bijvoorbeeld op storyboards geschetst en soms zelfs ‘moving’ op film gezet en van audio voorzien om maar zo natuurgetrouw mogelijk te kunnen testen. Ondanks alle kanttekeningen die je bij een dergelijke aanpak kunt hebben, kun je met een goede test prima achterhalen of een traditioneel print- of tv-concept succesvol zal zijn en ook hoe het kan worden verbeterd.

Interactieve concepten

Adverteerders verwachten dergelijke pretest-mogelijkheden ook bij de interactieve concepten die zij laten ontwikkelen. Maar dat is (nog) niet altijd mogelijk. De traditionele methoden zijn niet mee-ontwikkkeld met de nieuwe media. En zo komt het regelmatig voor dat een interactief concept op traditionele wijze wordt (af)getest. De doelgroep wordt geconfronteerd met storyboards van een interactief, een gaming- of een social media concept waarvan de kern (de interactiviteit) in het geheel niet overgebracht kan worden.  Uit onderzoek blijkt dan dat de doelgroep de boodschap niet begrijpt, of dat het idee niet voldoende aanspreekt. Het creatieve bureau ‘kan’ vervolgens niets met de resultaten en de adverteerder heeft eigenlijk een onderzoek laten uitvoeren dat niet meet wat het moet meten.

Maar hoe kun je een concept testen dat interactief is, zonder juist dit interactieve element in de test mee te nemen?

Pasgeleden werd ons  de vraag gesteld om vanuit onze online- en onderzoeksexpertise een methode te bedenken om een interactieve campagne te pretesten. Een uitdagende puzzel, waarvan we de resultaten graag delen. We hebben alternatieven gevonden, gebaseerd op:

• mogelijke aanpassingen in het materiaal dat getest wordt;
• de technieken die je inzet tijdens onderzoek;
• het moment in de ontwikkelfase dat onderzoek gedaan wordt;
• aanpassingen in de doelgroepen.

Deze 4 alternatieven zet ik hieronder uiteen. Suggesties voor verdere optimalisatie en aanvullende methoden zijn –uiteraard- van harte welkom.

Alternatief 1. Het pre-testen met behulp van een ‘clickable demo’

We beginnen met het te onderzoeken materiaal. Vanuit onderzoeksperspectief zou een te testen interactieve campagne minimaal ‘clickable’ moeten zijn. Een concept toetsen zonder de interactiviteit te kunnen overbrengen aan de respondent doet immers direct afbreuk aan het concept. Net als bij een website die we in demo-versie kunnen toetsen, kan een clickable demo goed worden ingezet in de ontwikkelfase. Met behulp van eenvoudige visualisaties -offline- wordt een concept op het computerscherm vertoond.  Alleen al met deze stap, naar het voorleggen op een scherm in plaats van een storyboard, is al veel gewonnen.

Vervolgens is het aan te raden om op de belangrijkste functionaliteiten een clickfunctie te programmeren, zodat de respondent hiermee enige ervaring kan opdoen om zich zo ook inhoudelijk en qua aansprekendheid een goed beeld van het concept te vormen.

Voor en nadelen clickable demo

• Voordeel van de clickable demo is dat het onderzoek meer recht doet aan het concept en het zowel voor agency als adverteerder betrouwbaardere en meer bruikbare resultaten oplevert.
• Vanuit het perspectief van de opdrachtgever/adverteerder wordt echter in deze fase zo min mogelijk budget besteed aan de ontwikkeling van het concept en gaat het clickable maken soms vaak al een stap te ver.  In dat geval zou alternatief 2 een optie zijn: testen op basis van reverse engineering.

Alternatief  2. Pretesten met behulp van reverse engineering

Reverse engineering is het onderzoeken van een product (meestal een stuk software of een communicatieprotocol) om daaruit af te leiden wat de eisen zijn waaraan het product probeert te voldoen, of om de precieze interne werking ervan te achterhalen. Dit doet men mogelijk (maar zeker niet uitsluitend) met het doel een concurrerend product te ontwerpen.

De gedachte is hier dat bestaande succesvolle campagnes als eerste met de respondenten worden besproken. Campagnes die helemaal ‘af’ zijn en zich bij voorkeur al hebben bewezen. Een campagne die al loopt -of heeft gelopen- zal dienen als context waarbinnen een respondent het nieuwe concept kan beoordelen. De onderzoeker bevraagt allereerst het begrip, de waardering, de sterktes en zwaktes van de bestaande campagne etc. Hij/zij vraagt vervolgens de respondent zich het nog niet uitgewerkte (te testen) alternatief in te beelden waarbij dezelfde interactieve technieken mogelijk zijn.

Voor en nadelen reverse engineering

• Onderzoek levert in het algemeen kennis op over wat het succes van een interactieve campagne bepaalt, waarmee adverteerder en agency structureel meer en onderbouwd inzicht hebben in de succes- en faalfactoren van een dergelijke campagne
• De mindset van de respondent en vervolgens het begrip van het interactieve concept zijn in ieder geval niet gericht op een advertenties of storyboard (tv), maar op een interactief concept. (Stel je nu eens voor dat op een vergelijkbare manier de volgende boodschap wordt uitgedragen..Hoe zou je dat dan ervaren?)
• Nadeel vanuit onderzoeksperspectief is vanzelfsprekend dat de mindset van de respondent al is beïnvloed: de resultaten van de campagne die dient als referentiekader zijn ongewild ook van invloed op de mening van de respondent over het alternatief

Alternatief 3. Online expertise panel met leden van de doelgroep

Vervolgens kun je gericht aanpassingen maken in de doelgroep die je selecteert voor het onderzoek en daarmee een test uitvoeren onder personen die het concept zeker zullen begrijpen, zelfs zonder dat het clickable is of er al een alternatief is besproken. Er zijn panels waarbinnen je in verschillende leeftijdniveaus  experts, creatievelingen of innovatievelingen kunt selecteren. Als je deze respondenten uitnodigt en vervolgens toch werkt met de ouderwetse storyboards, is de kans een stuk groter dat het concept op de inhoud en niet op het (on)begrip ervan wordt beoordeeld.

Voor en nadelen expertisepanels

• Voordeel van het werken met  een speciaal deel van de doelgroep is dat je je kunt verzekeren van begrip van het concept en vaak ook van een zeker abstractievermogen bij de respondenten, wat uitstekend werkt als je nog niet uitgewerkte ideeën test
• Nadeel is vanzelfsprekend dat je voor je klant geen ‘dwarsdoorsnede’ van de doelgroep krijgt

Alternatief 4. Kiezen voor posttest (dus achteraf) in plaats van pretests

Vanuit het perspectief dat je beter geen onderzoek kunt doen dan slecht onderzoek op basis waarvan je de verkeerde keuzes maakt, zou een laatste alternatief zijn om gewoon geen pretest (vooraf)  te doen, maar een posttest (achteraf).

De gedachte hierachter is dat je je neerlegt bij de conclusie dat het uitvoeren van concepten de enige zinnige manier om meer te leren over de kwaliteit van de interactieve concepten, om succes in de vorm van gedrag te meten (cijfers liegen niet) en achteraf daarvoor een verklaring te zoeken in de vorm van onderzoek. De ultieme posttest.

Voor en nadelen van posttest versus pretest

• Voordeel is dat het meet wat het moet meten, en je concreet iets te testen hebt
• Nadeel is dat het achteraf is, en je loopt daardoor het risico ontwikkelkosten te maken voor een concept dat eigenlijk geen potentie heeft.

Conclusie

Alhoewel alle bovenstaande methoden ons inziens beter zijn dan het inzetten van de traditionele tools voor een pretest van een interactief concept, zit de ultieme methode er misschien nog niet bij. Wie heeft er goede ideeën?