In september mogen we weer stemmen. Zou de aankomende verkiezingscampagne eindelijk de boeken ingaan als de campagne waarin sociale media definitief doorbraken? In dit vijfde deel van de serie over de rol van social media in de aanstaande verkiezingen, antwoord op de vraag: kan Twitter de verkiezingsuitslag voorspellen?
Opiniepeilingen
Het is verkiezingstijd, dus overstelpen de media ons weer met opiniepeilingen. Wekelijks of zelfs dagelijks komen Maurice de Hond, Ipsos Synovate, TNS NIPO en EenVandaag met eigen peilingen over de actuele politieke voorkeuren van de Nederlanders. De opiniepeilingen geven een beeld van de verschuivingen in de kiezersvoorkeuren, maar in absolute zin zitten ze er vaak naast, tot zelfs wel 15 zetels.
Er kunnen ook grote verschillen zitten tussen de peilingen van de bureaus: zo was eind juni bij Maurice de Hond de VVD de grootste, terwijl bij TNS Nipo de SP duidelijk nummer één was.
De marktonderzoeksbureaus werken met panels van enkele duizenden leden. Ze proberen daarbij een zo representatief mogelijke steekproef van de samenleving te betrekken, maar dat lukt maar tot op zekere hoogte. Het grote aantal zwevende kiezers maakt peilen er ook niet gemakkelijker op. De vraag is of het ook anders kan.
Social media: bron van informatie
De laatste jaren zijn sociale media een prominente plaats geworden voor het bespreken van politieke kwesties en voor politiek geïnteresseerden om elkaar te ontmoeten. Dit levert enorme hoeveelheden gegevens op, die openbaar en doorzoekbaar zijn. Eerder werden door analyses van grote hoeveelheden Twitterberichten al beurskoersen, griepgolven en bioscoophits voorspeld. Is het mogelijk om diezelfde ‘wisdom of crowds’ af te tappen voor het voorspellen van de verkiezingsuitslag?
Zowel Frankwatching (de TwitterMonitor i.s.m. DamKam) als Marketingfacts (i.s.m. Coosto) onderzoeken de politieke ontwikkelingen via analyses van sociale media in de aanloop van de verkiezingen. Enkele resultaten stemmen hoopvol. Zo voorspelde Marketingfacts de uitslag van de verkiezing van de CDA-lijsttrekker in mei dit jaar vrij nauwkeurig: Sybrand van Haersma Buma zou winnen, met een meerderheid van 50%, gevolgd door Mona Keijzer. Deze voorspelling kwam uit. In 2010 werden in Amerika de uitslagen van de tussentijdse verkiezingen nauwkeurig voorspeld met behulp van analyses op basis van Facebook en Twitter.
Als we kijken naar de experimentele peilingen van Buzzpeil, zien we kleine verschillen met de peiling van Maurice de Hond, die op dezelfde dag uitkwam. Bij Buzzpeil staat de VVD op 33 zetels, bij De Hond op 29. Buzzpeil zet de SP op 32 zetels, De Hond op een zetel minder. De PVV staat bij Buzzpeil op 18 zetels, bij De Hond op 20. Buzzpeil zet de PvdA op 20 zetels, De Hond denkt een zetel minder. Het CDA staat in beide peilingen op 14 zetels. De verschillen zijn dus relatief klein, wellicht met uitzondering van de VVD. Betekent dit dat we op sociale media af kunnen gaan?
Discussie over betrouwbaarheid
Diverse wetenschappers doen al een tijdje onderzoek naar de vraag of gegevens van sociale media gebruikt kunnen worden voor politieke peilingen. Onderzoekers van de Technische Universiteit van München, Andranik Tumasjan en anderen, deden onderzoek naar de Duitse parlementsverkiezingen van 2009 en analyseerden daarvoor meer dan 100.000 berichten op Twitter. De vraag was wat de relatie was tussen tweets over politieke partijen en de uiteindelijke uitslag. Hun resultaten suggereren dat sociale media een belangrijke voorspeller van de verkiezingsuitslag kunnen zijn.
Het percentage tweets waarin een politieke partij wordt genoemd, blijkt sterk overeen te komen met het percentage stemmen dat de partij uiteindelijk kreeg. 30.1% van de tweets ging over Angela Merkel’s CDU, terwijl de partij 29.0% van de stemmen kreeg. De liberale FDP kreeg 17.3% van de tweets en 15.5% van de stemmen. Het grootste verschil tussen tweets en stemmen was bij de Groenen, die 3.3% meer stemmen dan tweets binnenhaalden. Deze scores kunnen zich meten met die van reguliere opiniepeilingen, die altijd iets van de echte uitslag af zitten.
Toch is hiermee nog niet overtuigend een instrument ontwikkeld dat de verkiezingen echt kan voorspellen. De Duitse onderzoekers laten zien dat er weliswaar overeenkomsten zijn tussen sociale media en verkiezingsuitslagen, maar de vraag is over welke periode de tweets moeten worden bekeken: hoe lang voor de verkiezingen moet deze periode starten en welke partijen moeten er in de analyse worden meegenomen?
Jungherr en zijn collega’s laten bovendien zien dat de tweets over de Duitse verkiezingen ook hele andere uitslagen kunnen geven. Als de in Duitsland relatief succesvolle Piratenpartei aan de analyse wordt toegevoegd, blijkt de verkiezingsuitslag helemaal niet meer goed voorspeld wordt. Maar na toevoeging van de Piratenpartei in de analyse gaat plotseling 34.8% van de tweets over deze partij, wat in geen relatie staat tot de verkiezingsuitslag. Zo’n grote hoeveelheid berichten van één partij kan de uitkomsten van de analyses sterk verstoren. Er zitten dus toch nog wat haken en ogen aan de sociale media analyses als het gaat om het voorspellen van de verkiezingsuitslag die maken dat sociale media wellicht geen goede manier zijn om verkiezingsuitslagen te voorspellen.
Een nieuw instrument?
Analyses van sociale media hebben bovendien last van het feit dat er geen sprake is van een representatieve steekproef van de bevolking. Hoger opgeleide en politiek geïnteresseerde mannen zijn oververtegenwoordigd. Opiniepeilingen door marktonderzoeksbureaus zijn representatiever door zorgvuldige samenstelling van de panels. Daar wordt bewust op gelet bij de weging van de uitkomsten.
Toch lijken sociale media in bepaalde gevallen wel goed voorspellend. Partijen of kandidaten die in sociale media veel genoemd worden, krijgen doorgaans dus ook meer stemmen. Deze vergelijking is wel gevaarlijk, omdat hypes grote invloed kunnen hebben op de resultaten in de sociale media, terwijl die niet in relatie hoeven te staan tot kiezersvoorkeuren. Het voorbeeld van de Duitse Piratenpartei laat dat duidelijk zien.
Er blijft dus nog genoeg te onderzoeken over analyses via sociale media en de mogelijkheden om daarmee te voorspellen. De grootste partij worden in september, daar draait het nu natuurlijk om. Maar laten we niet vergeten dat sociale media veel kwalitatieve informatie bevatten over hoe er in de samenleving wordt gedacht over politieke voorstellen en maatschappelijke thema’s. En dat is minstens zo waardevol.
Uitgelicht: Samen Slimmer: over de impact van de ‘wisdom of crowds’
Wil je ook meer weten over hoe crowdsourcing, cocreatie, sociale media en het internet onze samenleving in 2030 gezonder, innovatiever en participatiever maken? Koop dan het boek 'Samen slimmer' van auteur Maurits Kreijveld voor € 19,50 (excl. verzendkosten).
Meer weten?
Leuk artikel.
Social media en andere online media kunnen zeker de uitslag voorspellen. In 2010 was onze correlatie zelfs iets beter dan Maurice de Hond.
http://www.clipit.nl/nieuws/artikelen/1660/social-media-voorspellen-uitslag-verkiezingen-als-beste
http://www.clipit.nl/verkiezingen
Ook dit jaar doen we het weer maar dan net iets anders. We kijken naar PR-waarde en dat vertaald naar zetels:
http://www.communicatieonline.nl/nieuws/bericht/sp-hoogste-online-pr-waarde-vvd-meeste-online-berichten/
Bij de verkiezingen van 2010 hadden wij een ‘Coaltitiewijzer’ gemaakt. Er kwam een voor ‘ons’ ideale coalitie uit, goed over nagedacht door zo’n 1000 Twitteraars. Iets of iemand gooide roet in het eten.
De keuze van de toen, grootste partij leidde tot deze nieuwe verkiezingen. Ons advies is dus nog steeds kies voor een Coalitie. Dat lijkt me ook beter meetbaar met sociale media. Gebruik hashtag’s met meerdere partijen, die van jou ‘samen’ mogen. Dat is beter meetbaar dunkt mij.
Hier een mooie site die dat voor de US president doet en binnenkort ook voor Nederland hoop ik, leuk om te volgen en de resultaten te vergelijken met de werkelijkheid, zeer interessant natuurlijk.
http://www.predict.nu/
Tja, volgens mij hebben we dit 2 jaar geleden al aangetoond
http://www.clipit.nl/nieuws/artikelen/1660/social-media-voorspellen-uitslag-verkiezingen-als-beste
Destijds zaten jullie goed en hoe zit dat dit jaar? Ik ben benieuwd hoe jullie dan tot je ‘peiling’ komen: hoe weeg je verschillende berichten. Onderzoeken (even los van verkiezingen) die ik tot nu toe zag waren eerder een bewijs achteraf en op basis daarvan identificeren van correlaties en weegfactoren. Dat zie je ook bij het Duiste onderzoek.
@Paul zet je die link nou onder elk artikel over dit onderwerp?
)
@Maurits Herkenbaar artikel, maar idd geen nieuwe discussie. Dat Twitter voorspellende waarde heeft is al vrij overtuigend aangetoond, niet alleen door de TU München en Martijn Kriens. Wij zagen bij de interne PvdA-verkiezingen 2 dagen voor de officiële uitslag op basis van 11.000 tweets al dat Samsom een landslide zou behalen,terwijl Maurice de Hond toen bij P&W nog voorspelde dat Plasterk zou winnen.. Zie http://damkam.nl/twitteranalyse-pvda-lijsttrekkersverkiezing/#more-630
Het is belangrijk om social media-analyses en peilingen niet door elkaar te halen, dat zijn 2 verschillende zaken met andere onderzoeksmethodes. Twitter-analyses maak je per definitie achteraf. Bij DamKam spreken we dan ook liever over Social Media Research en data-analyse dan over peilingen.
Interessante comments.
Is deze discussie al voorbij? Nee, dat is deze discussie zeker niet. De reden is simpel: sociale media-analyses zijn veel goedkoper dan opinie-onderzoeken. Als er geen discussie over de resultaten van sociale media-analyses zou zijn, dan waren reguliere media allang gestart met het publiceren van deze peilingen en betalen zij niets meer aan onderzoeksbureau’s als Synovate. Ik vermoed dat vooral lezers van Frankwatching vinden dat deze discussie voorbij is.
Deze discussie is er dus wel. En dat zit precies in het punt uit onze conclusie, namelijk dat het een erg hype-gevoelige methode lijkt te zijn. De onderliggende redenering klopt namelijk niet. Namelijk: dat er een sterke relatie is tussen tweets van een specifieke groep burgers en stemgedrag van de hele bevolking. Het een kan nooit garanties geven voor het ander.
@Chris Aalberts:
In hoeverre kun je zeggen dat mensen op Twitter niet representatief zijn voor de gehele bevolking? Is zoiets überhaupt te meten?
En is het succes van zo’n peiling niet heel erg afhankelijk van de methodiek? Ik kan me voorstellen dat er verschillende technieken zijn om de taal (in dit geval Tweets?) van mensen te analyseren en dat er verschillende manieren ontstaan van het interpreteren van de opinie / het sentiment.
Dat kom ik helaas niet echt tegen in jullie artikel (ook niet in de voorgaande van Clipit btw). Jammer, want volgens mij is dat juist interessante content (al is het misschien wel wat wetenschappelijker…)
Dat is nauwelijks te meten, maar we weten wel dat hun sociaal-demografische profiel behoorlijk afwijkt van de gemiddelde Nederlander.
De methodiek is natuurlijk zeer belangrijk, maar er lijkt bij deze analyses nauwelijks een methodiek te zijn. Het gaat om de hoeveelheid tweets met een bepaalde term erin. Niets meer en niets minder. Je kunt dan alleen steggelen over welke termen je meet en over welke periode.
Als ik dit laatste verkeerd zie, hoor ik graag van anderen het tegendeel, maar mijn indruk is sterk dat dit het antwoord is.
En hoe weet je dat dan?
(vraag ik uit nieuwsgierigheid).
Ik las trouwens net dat er in het door jullie genoemde Duitse onderzoek een week is weggelaten (met analyseren), en dat de uitkomsten daarom gunstig uit zijn gekomen. Zie: http://ifarm.nl/blog/2012/03/13/paper-verkiezingen-voorspellen-met-twitter/.
Die blogger heeft het onderzoek nagebootst voor de Provinciale Statenverkiezingen en in zijn blogpost zegt hij dat het voorspellen van verkiezingen discutabel is. (moet het onderzoek nog lezen, maar het klinkt interessant).
Ben eigenlijk wel benieuwd wat voor andere approaches er zijn voor dit soort voorspellingen.
Ik zal het specifieker zeggen: twitteraars lijken al niet op de gemiddelde burger, maar de burger die twittert over politiek lijkt er zeker niet op. Dat laatste komt uit ons boek Veel gekwetter, weinig wol. Zie politiek20.nl.
Je punt over het Duitse onderzoek is nieuw voor mij, maar mijn kritiek is vrij algemeen dat het onderzoek is wat oncontroleerbaar is. We kunnen niet of nauwelijks zien wat er in dit soort analyses gebeurt. En daarmee kan iets dergelijks dus inderdaad gebeuren, hetgeen nogal veel invloed heeft op (de juistheid van) de voorspelling.
@Killian: goed punt aangaande representatief! Ooit wel eens in DWDD gehoord dat het panel van Maurice de Hond ook best te manipuleren is. Stel dat de gehele achterban van de PVDA zich daarvoor aanmeldt, dan is het niet zo moeilijk te raden wie de grootste partij wordt (vraag!)?
@Chris. Geloof zeker niet dat de discussie voorbij is. Het is niet onze core business, maar ik denk dat de tijd van onderzoek op basis van online media/data pas net is begonnen. Tijden veranderen. Vroeger werd er onderzoek gedaan omdat we te weinig data hadden. Tegenwoordig hebben we teveel data en is het de truc om hier de juiste onderzoeksresultaten uit te destilleren. Hier ligt naar mijn mening dan ook de uitdaging voor veranderende onderzoeksmethodieken. Denk dat bureaus deze ook wel voorzichtig aan het verkennen zijn, maar er nog niet voldoende baad bij hebben?
@Keesjan. Tja…denk het wel…de centrale vraag van het artikel is “kan Twitter de verkiezingsuitslag voorspellen?”. We hebben dit al een keer aangetoond, dus is dit voor de volledigheid van (een goed onderbouwd) artikel het noemen waard? Daarnaast is het een extra onderbouwing en motivatie voor jullie onderzoek toch…!?
@Maurits: We hebben destijds vooraf peilingen uitgevoerd en deze peilingen achteraf geanalyseerd in hoeverre deze van de feitelijke uitslag afweken. Vollediger kan volgens mij niet…!?
We gooien het dit jaar over een andere boeg door het te correleren aan de PR waarde.
Verder ben ik erg benieuwd waarom jullie uitgaan van Twitter voorspellingen? We hebben destijds onderzoek gedaan in 10.000 (nieuws)bronnen, zowel in de categorie online als social media. Hiermee vergroot je het onderzoeksveld, maar voorkom je ook de (wellicht terechte) discussie dat alleen de hoog opgeleide op Twitter zouden zitten. Wellicht een fundamenteel vraag voor alle onderzoeken…?!
Een levendige discussie hier, heel goed, zeker bij een nieuw vakgebied als social media analyse/research
@Chris: ik schreef niet dat de discussie voorbij is maar hij is niet nieuw. Ik kan/wil niet voor de honderdduizenden bezoekers van Frankwatching spreken maar persoonlijk juich ik discussie juist toe: daar is dit nieuwe, fascinerende onderzoeksgebied belangrijk genoeg voor!
Daarbij beseffend dat geen enkele onderzoeksmethode waterdicht is, traditionele peilingen niet, maar social media-analyses ook niet (dat schrijven we ook op damkam.nl)
@Paul: Ben gek op goed onderbouwde artikelen, wrs. zal je link naar 2010 dus nog vaak nodig zijn
@Kilian: Zinnige, onderbouwde opmerkingen! Succes/betrouwbaarheid is idd afhankelijk v/d gebruikte onderzoeksmethoden. Die is (in ons geval)wel iets intelligenter dan @Chris vermoedt met “het gaat om de hoeveelheid tweets..niets meer en niets minder”
Voordat we met analyseren beginnen schonen we de data op door spam, fake en buitenlandse tweets eruit te filteren. Dat is geen sinecure als je 300.000 tweets onderzoekt zoals in onze TwitterMonitors. Dat ondervang je door zoveel mogelijk steekwoorden in het systeem in te voeren. Leg je dat graag op een ander moment/podium eens uit @Chris. Wellicht in een social media-debat?
wb. representativiteit: ik weet niet welk soc-geografisch model de auteurs gebruiken maar volgens cijfers van dit voorjaar(zie bv. op MarketingMonday) zijn er 5,2 miljoen Twitter-accounts en 4,2 miljoen gebruikers in ons land, en dat aantal groeit dagelijks. We zijn nu zelfs het actiefste twitterland ter wereld(relatief gemeten)
Miljoenen hoogopgeleiden hebben we niet in NL; daar zitten ook jongeren en ouderen bij, hoe onverwachts dat misschien klinkt.
Gezien de vlucht die social media-analyse en Big Data de komende jaren zal nemen lijkt het me goed zoveel mogelijk te praten over feiten ipv. vermoedens/veronderstellingen
Wat ik extra interessant aan deze discussie vindt, is feit dat Twitter (en andere social media) voor nog veel meer analyses gebruikt wordt dan alleen de verkiezingen. De grote belofte van Big Data is idd dat hier allerlei nieuwe inzichten uit te halen zijn. Zolang we maar goed en slim zoeken en de juiste vragen aan het systeem stellen. Volgende week een nieuw artikel over decision markets! De wisdom of crowds-zoektocht gaat door.
@Kees-jan
Dat lijkt me interessant (ik volg je nu op Twitter). Ben vooral benieuwd hoe zulke onderzoeken op operationeel niveau werken (ik begin er een soort nieuwsgierigheid voor te kweken). Ik kan me voorstellen dat zulk soort onderzoeken bepaalde taalbarrières tegen komen. Taal is tenslotte vaak dubbelzinnig en kan door de software waarmee het onderzoek wordt uitgevoerd op een verkeerde manier geïnterpreteerd worden. Dan wordt het misschien wel wat wetenschappelijker, maar krijg de indruk dat de meeste onderzoeken, en tools die je hiervoor kunt gebruiken, nogal wat oppervlakkig zijn. Maar dat is wellicht een andere insteek van de discussie (wel een interessante natuurlijk).
Dit vond ik wel waardevolle & interessante informatie trouwens als we het over het bovenstaande hebben: http://www.slideshare.net/mcjenkins/how-sentiment-analysis-works
Na het recente onderzoek van McKinsey gelezen te hebben over BigData, ben ik alleen nog maar enthousiaster over de mogelijkheden geworden! Ik ben het eens met de opmerking van Kilian, dat taal nog wel een hobbel is die genomen moet worden. We werken hiervoor bijvoorbeeld samen met een bedrijf, http://sntmnt.com dat hier via sentiment (NLP) algoritmes mee bezig is. Gelukkig is dat verre van oppervlakkig
Social Media Analysis geeft veel mogelijkheden voor onderzoek. Niet alleen de verkiezingsuitslag, maar ook op veel andere domeinen kun je een voorspellende waarde berekenen. Wij doen onderzoek naar sociale media analyse op het gebied van recruitment. Wie je bent, welke relaties je hebt en welke rol je inneemt binnen een netwerk. Door deze profielen te koppelen kun je een voorspelling doen op gedrag van een bepaalde groep of individu. Bijvoorbeeld: welke baan sluit goed aan bij een bepaald profiel, of wat is de mobiliteit van iemand. Voor de geinteresseerde lezer: kijk eens op mijn blog op http://www.recruitmentnet.nl
@Kilian: dank voor de preso van Jenkins, mooie aanvulling. Taal (mn. cynisme) is idd. een punt waarbij interpretatie van data erg belangrijk is, zie ook de uitleg op onze site (bij Analyse)
@Thomas: Social media analyse kent vele onderzoeksmogelijkheden, en dat gaat de komende jaren alleen maar toenemen. In de VS is dit vakgebied en Big Data al hot en trending, we lopen wat achter hier. DamKam publiceert op Frankwatching over de Tweede Kamer-verkiezingen, omdat het een actueel en toegankelijk onderwerp is dat veel mensen aanspreekt. Die maken zo kennis met de nieuwe wereld van social media analyse