Filter
Employee Experience De (on)mogelijkheden van social media bij onderzoek
Social media onderzoeken (of inzetten als onderzoeksmethode), is zo makkelijk nog niet. Je kunt tegen verschillende obstakels oplopen. Wij deden onderzoek waarin, aan de hand van diverse casestudies, is onderzocht welke rol sociale media spelen bij de ontwikkeling van incidenten en hoe maatschappelijke onrust daarbij ontstaat en wordt beïnvloed.
Het onderzoek naar de invloed van sociale media op situaties van maatschappelijke onrust voerden we uit in opdracht van het onderzoeksprogramma Politie & Wetenschap. Op 12 juni 2013 verscheen het rapport van dit onderzoek (PDF).
Dit artikel gaat echter niet in op de conclusies van dit rapport, maar over de (on)mogelijkheden van sociale media als onderwerp van onderzoek. Want daar hebben we gedurende dit onderzoek en enkele andere onderzoeken, veel ervaringen mee opgedaan, die we graag willen delen.
Online dataverzameling
Internet biedt meer en meer mogelijkheden voor interactieve dataverzameling. Via het web kunnen snel en betrekkelijk eenvoudig veel respondenten bereikt worden, sociale media versterken dat nog eens. Dat is mooi, maar lang niet alle mensen maken gebruik van internet. Wanneer in een onderzoek alle respondenten zijn benaderd via internet (waaronder sociale media), dan heeft dat gevolgen voor de populatie waarnaar kan worden gegeneraliseerd.
Dat hoeft niet erg te zijn, aangezien dit afhankelijk is van het doel en de probleemstelling van het onderzoek. Voor een onderzoek dat wij uitvoerden naar het gebruik van sociale media bij noodsituaties, zijn respondenten benaderd via sociale media, online nieuwsbrieven en websites. De onderzoeksresultaten geven een indicatie van de verwachtingen ten aanzien van dit onderwerp van burgers die gebruik maken van sociale media en niet van de gehele Nederlandse bevolking. Bij de interpretatie van de onderzoeksresultaten moet rekening worden gehouden met deze beperking.
Niet alles is openbaar en eenvoudig vindbaar
Een belangrijke beperking als je sociale media in een onderzoek wilt betrekken, is dat niet alle berichten die mogelijk relevant zijn voor je onderzoek, zichtbaar zijn. De belangrijkste reden hiervoor is dat niet alles openbaar is op sociale media. Denk bijvoorbeeld aan de gesloten sites bij Facebook en de afgeschermde accounts op Twitter. Vergeet ook niet andere mogelijkheden om met elkaar in verbinding te staan, zoals WhatsApp en pingen via BlackBerry’s.
Daarnaast is niet alle informatie eenvoudig terug te vinden. In ons onderzoek naar sociale media en maatschappelijke onrust zijn alleen berichten die op basis van zoektermen en hashtags boven water kwamen, meegenomen in de analyse. Alle berichten zonder deze zoektermen vielen dus buiten het bereik van dit onderzoek.
Je kunt de impact niet goed inschatten
Het niet goed kunnen inschatten van de impact van sociale media berichten is een andere beperking. 6.000 Tweets over een bepaald incident kunnen meer impact hebben dan 500.000 tweets over een ander incident. Dit heeft er onder meer mee te maken dat niet is te zien wie welke tweets hebben gelezen. Het aantal berichten dat over de incidenten gevonden is, zegt niets over de impact van deze berichten.
Een voorbeeld is een Tweet van een tiener in Hoorn, waarin hij oproept tot een Project X feest. De tweet kende, ondanks dat het bericht niet breed is verspreid, wel zijn uitwerking. De impact van sociale mediaberichten is afhankelijk van meerdere factoren, zoals het aantal volgers van een account, de hoeveelheid bezoekers van een website en hoe vaak het bericht is doorgelinkt naar andere websites. Een ander element is het bereik van een tweet. Zo kunnen Twitteraars tweets doormailen naar anderen. Het bereik van een tweet wordt hiermee vergroot, maar dat wordt niet zichtbaar bij het monitoren van sociale media.
Bereik en impact
Twitter mailt haar gebruikers inmiddels weekoverzichten met daarin een selectie van tweets die de betreffende gebruiker mogelijk interessant vindt. Hoewel het feitelijke bereik van berichten op sociale media niet bepaald kan worden, is via tools als Tweetreach het potentieel bereik van berichten op sociale media wel inzichtelijk te maken. Mocht er een link staan in een bericht, dan is bijvoorbeeld via Google Analytics te achterhalen hoeveel mensen de link hebben aangeklikt.
Maar dan nog is het bereik niet doorslaggevend voor de impact van een bericht. Het aantal keer dat een bericht geretweet wordt is derhalve niet doorslaggevend voor de impact van het betreffende bericht. Dit geldt tevens voor het aantal volgers van een twitteraar. Uiteraard heeft de hoeveelheid volgers invloed op de impact van de tweets van een bepaalde gebruiker, maar wat die invloed precies is, valt niet te zeggen. Je kunt 10.000 volgers hebben en vervolgens een berichtje twitteren dat door 500 mensen wordt gelezen. Dan laten we het feit dat zich hieronder wellicht ook ‘nepvolgers’ bevinden (die je zelfs kunt kopen), nog even buiten beschouwing.
Maar iemand kan ook twee volgers hebben, waarbij één van de twee @ArminvanBuuren is. Een retweet van hem betekent direct een groter bereik, maar welke invloed dit heeft is een ander vraagstuk. Naar schatting wordt het overgrote deel van de twitterberichten niet gelezen door iedereen die een twitteraar volgt, simpelweg omdat mensen niet altijd zijn ingelogd, niet alles lezen of omdat de informatiestroom te groot is. Er zijn al wel programma’s waar mee je kunt zien wie online waren op het moment van een incident, maar het is ook hier niet met zekerheid te zeggen dat zij de berichten hebben gelezen.
Weinig sentiment en een beetje invloed
Om de berichtgeving op en het gebruik van sociale media te analyseren, zijn er diverse tools voorhanden. Enkele bekende zijn Coosto, Obi4Wan en Twitcident. Deze tools analyseren op hun eigen manieren (Nederlandstalige) bronnen en de (Nederlandstalige) berichten op sociale media. Met behulp van deze tools is gericht te zoeken naar relevante woorden en slimme combinaties van woorden die met een bepaalde gebeurtenis te maken hebben of in een bepaalde periode geplaatst zijn. Vervolgens is via steeds verdere analyse van de resultaten steeds specifieker te zoeken, totdat de meest relevante resultaten overblijven.
In het onderzoek dat wij deden voor Politie & Wetenschap is dit handwerk zeer belangrijk geweest, omdat de vrijwel automatische analyse van Coosto niet de gevraagde kwaliteit opleverde. Het duiden en interpreteren van de onderzoeksdata blijft toch echt mensenwerk. Als voorbeeld de invloedsscore van een gebruiker op Twitter. Coosto bepaalt deze aan de hand van iemands activiteit op Twitter en dan in het bijzonder de mate van interactie (dialoog) tussen de auteur en andere auteurs. Deze score begint bij nul (geen invloed) en kan oplopen tot in de duizenden (wat hoogst ongebruikelijk is).
Invloedsscore
De invloedsscore kan door de tijd veranderen. Als iemand bijvoorbeeld minder actief wordt op Twitter, dan zal zijn invloedsscore langzaam dalen. Coosto meet dus hoeveel mensen met je gaan praten als je een tweet publiceert, of hoeveel er meedoen in een lopende discussie. Daarnaast is invloed een dynamisch begrip: het beweegt op en neer door de tijd heen. Sommige berichten zetten meer aan tot dialoog dan andere, omdat ze meer mensen aanspreken of bijvoorbeeld omdat ze over een actueel maatschappelijk onderwerp gaan.
Kortom: de invloedscore geeft een indicatie van hoeveel mensen nu werkelijk bereikt worden en hoeveel mensen aangezet worden tot discussie. Coosto meet dit door de tijd heen op basis van meer dan 40 miljoen Nederlandse tweets per maand. Dit is de eerste versie van de invloedberekeningen. Het is niet de heilige graal, maar wel gebaseerd op harde data en cijfers. De exacte formule over hoe de invloed- en bereikscores berekend worden is niet publiek bekend en bedrijfsgeheim van de eigenaar van de monitoringtool Coosto. Deze bereikscore en invloedscore moeten dus gezien worden als een indicatie die op harde data gebaseerd is, maar niet wetenschappelijk te toetsen is.
Er is een tweede versie in ontwikkeling, waarin ook overige sociale netwerken worden meegenomen. Hoewel zeer interessant, is om de bovengenoemde redenen de invloedsscore door de onderzoekers nog niet meegenomen in de genoemde onderzoeken.
Momentopname
Tot slot, de laatste maar zeker niet de minste beperking, is de onderzoeksperiode. Als je uitspraken wilt doen over trends op sociale media, dan loop je al snel achter de ontwikkelingen aan. Indien de onderzoeksperiode langer dan enkele maanden duurt, zoals het onderzoek van Politie & Wetenschap, dan loop je er tegenaan dat de online wereld niet stil blijft staan. Elke dag leren en veranderen organisaties met betrekking tot het gebruik van sociale media.
Het kan uiteraard altijd beter, maar er wordt door organisaties niet gewacht totdat de resultaten van onderzoek er zijn. Wij denken dat de constateringen, lessen en praktische tips uit onderzoek naar sociale media desondanks waardevol zijn en blijven. Te meer omdat het tijd kost om het gebruik van sociale media ook te laten doordringen tot de dagelijkse werkelijkheid. We horen graag jullie aanvullende ervaringen, of opmerkingen en vragen bij onze ervaringen.
Foto intro: Bigstockphoto
Over de auteurs
