Het analyseren van sentiment is een nieuwe hype in onderzoeksland. Overal word je op het hart gedrukt dat het belangrijk is om te weten wat mensen online over je merk of product zeggen op het internet. Dit kan op verschillende manieren. Zo kun je nagaan wie van de mensen die over jou schrijft het meeste invloed heeft, of kun je laten meten wat de verhouding tussen positieve en negatieve berichten is.
Sentiment tracking is één van deze manieren om het gevoel uit een bericht te lezen. Erg handig zou je zeggen, helemaal nu het vaak ook door software automatisch kan worden gedaan. Maar wat heb je als bedrijf nu aan deze informatie? En is de informatie wel betrouwbaar?
Scheve verdeling?
Denk bijvoorbeeld aan het monitoren van tweets tijdens een evenement. Deze gegevens kunnen allemaal vrij eenvoudig verzameld worden, en ik weet zeker dat software in staat is ze goed te analyseren. Mijn vraag is alleen: in welke situaties twitteren mensen nu eigenlijk? Bij welke emotie? Twittert iemand net zo vaak bij een positieve ervaring als bij een negatieve ervaring? Is dit gelijk verdeeld of zit hier een wezenlijk verschil in?
To Tweet or not to Tweet
Een voorbeeld: je staat van de zomer op een leuk muziek festival, het zonnetje schijnt, de muziek is goed en je bent met gezellige mensen. Grote kans dat je op een gegeven moment even je telefoon pakt en snel een tweet post: “Het is hier weer heerlijk op….#genieten #biertje #festival”. Dit wordt door de Automated Sentiment Trackers natuurlijk gelijk van het web gehaald en bestempeld als positief bericht.
Maar nu gebeurt het. Je gaat naar de wc en daar staat een enorme rij. Je stemming blijft nog goed, maar zakt toch al een beetje in. Uiteindelijk begint het ook nog eens te regenen, en voordat je terug bent bij de rest van je vrienden ben je doorweekt. Wat doe je? Twitter je dit ook even snel?
De verhouding
Het resultaat uit de Sentiment Trackers, en dan doel ik vooral op het meten van belevenis, is dus misschien helemaal niet zo waardevol als we denken. Natuurlijk geeft het programma wel goed weer hoeveel procent positief is en hoeveel negatief, maar is die weergave wel een goede afspiegeling van de werkelijkheid? Of zit er een verschil tussen de momenten waarop mensen gebruik maken van social media? Doen ze dit eerder bij een positieve ervaring of eerder bij een negatieve ervaring? Ik vraag me in ieder geval af:
Het analyseren van sentiment: geschikt of ongeschikt ?
Wat vinden jullie? Reacties zijn welkom in de comments.
Geert Stradmeijer studeert aan de Hogeschool INHOLLAND af op het onderwerp social media. Hij onderzoekt of de informatie die door social media wordt gegenereerd bruikbaar en valide is voor onderzoek.
deveny 
Patty 
Samuel Driessen 
Els 
Klaas v. Dijk 
Hi Geert, ik deel je bezorgdheid. Ikzelf heb al met meerdere monitoring tools kunnen werken gaande van free tot erg duur. Telkens weer viel me op hoe slecht de inschatting van het sentiment wel niet was, op enkele uitzonderingen na die dan nog meestal enkel in het Engels goed scoorden. Want dat wordt ook wel vaak vergeten dat wij hier in Europa niet allemaal Engels praten en schrijven. Opletten dus met je conclusies te baseren op volledig geautomatiseerde analysis.
Ik zie het punt wat je aanstipt echter alles hangt af van de hoeveelheid berichten. Zodra je met statistiek aan de slag gaat is de N (aantal) erg belangrijk. Ik denk dat het hier net zo is. Als er genoeg berichten zijn moet het mogelijk zijn om er iets over het gemiddelde sentiment te zeggen.
Het punt wat je aanstipt in welke gevallen je twittert is hierbij natuurlijk wel heel erg belangrijk. Daarom is er nog altijd een mens nodig om de cijfers te begrijpen en om te zetten naar acties.
Al met al denk ik dat sentiment onderzoek goed mogelijk is als je aan een aantal regels houdt.
@ Jeroen B – je stelt heel iets anders dan Geert – jij vind de kwaliteit nogal discutabel terwijl Geert het moment waarop getwittert wordt in relatie tot de houding discutabel.
Dus je bezorgdheid deel je misschien wel, maar om verschillende redenen.
Wat je moet weten is dat als je wilt dat er goed wordt gekwalificeerd, je mensen nodig hebt die dingen kwalificeren. Simpelweg omdat de software nog niet goed genoeg is om automatisch te kwalitificeren en nuances als ironie te bepale.
Maar ook daarvoor kun je bij verschillende bureaus terecht (die dus mensen en software gebruiken)
@Geert – rare vraag/opmerking. Allereerst lijk je hiermee ALLEEN op twitters te doelen (en wellicht ook binnenkort WieWatWaars & Facebook updates – maar dat wordt nu nog niet zo vaak gedaan op locatie als twitter)
Ten tweede heb je het volgens mij inderdaad alleen over events. Hoe veel bedrijven zijn benieuwd over events en hoveeel over hoe de algehele tendens is ten opzichte van hen merk? Ik denk dat je zult zien dat veruit de grootste groep geinteresseerd is in het laatste.
Ik hoop dus nietdat je onderzoek zich daartoe beperkt.
Bovendien moet je als je hier oprecht geïnteresserd in bent dit maar eerst lezen: http://www.swocc.nl/publicaties/moet_je_horen.php
Als laatste denk ik dat dit soort onderzoek beter op een universiteit dan op een hogeschool thuishoort. Wat je er daarna mee doet hoort dan weer vaak meer bij het HBO dan een Universiteit.
Terecht punt Geert. Mensen zullen vooral hun mening laten horen als ze emotioneel betrokken zijn. Dat teleurstelling of ergernis daarbij hoog scoort zal niemand verbazen. Aan de andere kant – en meer zeldzaam- zijn er ook merken die altijd bovengemiddeld veel positieve reacties oproepen. Er is dus altijd een zekere bias en het puur monitoren van de verdeling tussen positieve en negatieve publicaties in sociale media geeft naar mijn ervaring dan ook weinig inzicht.
Veel interessanter is het om veranderingen te spotten in trends en om de drivers achter de sentimenten te achterhalen. Zijn er in enen veel meer positieve of negatieve reacties, dan is er misschien echt iets aan de hand. En wat maakt dat consumenten tot bepaalde conclusies komen rond je product? Een goede analyse hiervan kan een bedrijf wel degelijk veel inzicht geven
Hoe vaak je in de media komt heeft met goede reclame of marketing te maken. Hoe dit wordt gepercipieerd heeft te maken met het sentiment of de lading die verpakt zit in het bericht. Het is dus van belang dus hoe de massa op jouw uitingen reageert: positief of negatief. Een leuke insteek die wij hebben proberen te kiezen is om de lijsttrekkers en politieke partijen te volgen op deze manier, http://www.clipit.nl/verkiezingen. De interesse van de politieke partijen hiervoor geeft in ieder geval aan dat de belangstelling groot is…toch de markt heeft altijd gelijk…?!
[...] Meer op Frankwatchting Share and Enjoy: [...]
@koningwoning,
Bedankt voor de link, ga ik zeker even bekijken. Over je opmerking. Ik ben dus eigenlijk voornamelijk benieuwd naar de verhouding van twitteren bij positieve ervaring / negatieve ervaringen. Ik vraag me af of het wel mogelijk is om een uitspraak te doen over de beleving van bijvoorbeeld bezoekers van een evenement op het moment dat het niet duidelijk is wanneer er wordt getwitterd. Wat denk jij? Twitteren mensen meer bij een positieve ervaring dan bij een negatieve ervaring?
Ik ben het met je eens dat de meeste bedrijven opzoek zijn naar de algemene buzz die op het internet gaat mbt. het merk/bedrijf, maar dat is niet hetgeen wat ik ten vrage stel.
Ik hoor graag je mening!
@Sjoerd Blauw: De n heeft in het verhaal van Geert geen relevantie. Hij vraagt zich gewoon af of het percentage negatieve ervaringen/gedachten dat op twitter verschijnt anders is dan het percentage positieve ervaringen/gedachten. Dus bijvoorbeeld: Er zijn 100 twitteraars die in aanraking komen met een product/merk/event/watdanook. 60 daarvan hebben een positieve ervaring, 40 een negatieve. Van die veertige negatieve ervaringen worden er 30 gedeeld op twitter. Van de 60 positieve ervaringen worden er ook 30 gedeeld. Sentimentanalyse zal dan dus geen realistisch beeld van de werkelijkheid geven. Dit voorbeeld is overigens ontzettend simplistisch want het gaat uit van één ervaring per persoon (en van mooie ronde getallen ;-) ).
@koningwoning Volgens mij geeft Geert Twitter gewoon als voorbeeld. Dat praat wat makkelijker. Verder vind ik het sentiment in jouw reactie moeilijk te meten. Ben je niet een beetje denigrerend ten opzichte van het HBO en Geert bezig? Op het HBO doen we toegepast onderzoek en dus niet alleen maar onderzoek toepassen.
@Walter Vos,
Je slaat de spijker op zijn kop met je reactie op Sjoerd. Dat is precies wat ik bedoel! En laten we het verder maar niet over de HBO vs universiteit kwestie hebben, ik ben het met je eens maar dan dwalen we zo van het onderwerp af straks ;)
Dag meneer Stradmeijer,
Ik vind het een heel leuk stuk wat je schrijft.
Leuke reacties hier :)…
succes ouwe
Een goed punt wat de schrijver aanstipt. Wat je moet doen in een tekst, is niet alleen het sentiment bepalen, maar ook het domein. i.e. waar gaat het bericht over? Als je het voorbeeld dan aanhoudt, dan krijg je eerst positieve tweets, met als domein “Holiday” of “Leisure”, en daarna wellicht negatieve tweets met als hoofddomein “weather”.. dan kan je weer wel bepalen hoe het zit. Je kan een voorbeeld zien op http://www.sentimentsearch.nl Hier wordt niet alleen het sentiment bepaald, maar ook de gradatie, en het domein warin een tweet of artikel valt.
Het draait allemaal om vergelijking. Als we er vanuit gaan dat bij ieder festival mensen even vaak naar het toilet gaan kunnen we festivals met elkaar vergelijken. En we kunnen vergelijken met hetzelfde festival het jaar ervoor. Zo gaat dat ook voor merken, films, cd’s en wat dies meer zij: de kracht zit n de vergelijking. Dan maakt het niet zoveel meer uit dat we eerder gaan twitteren wanneer we iets negatiefs meemaken dan iets positiefs.
@Peter Kerkhof,
Interessante blik op het onderwerp! zo had ik het nog nooit bekeken maar daar zit inderdaad een punt in! Bedankt voor je mening.
@Geert: interessant vraag! Paar puntjes.
1. Veel bedrijven zetten sentimentsanalyse alleen in om te beoordelen hoe het sentiment online is en niet zozeer om de daadwerkelijke mening van consumenten te achterhalen. Dus meer vanuit het perspectief van reputatiemanagement dan van consumentenonderzoek. In dit geval zou de organisator van het evenement uit jouw voorbeeld helemaal niet zo erg vinden dat je na je positieve tweet teleurgesteld afdruipt. Immers: de ‘word of mouse’ is positief. Kortzichtig, maar deze insteek zie je nog wel erg veel (eigenlijk de instapfase voor social media in veel gevallen).
2. Een andere interessante vraag is of de mening van anderen ook invloed heeft (off- en online). Dus: als mensen merken dat iedereen het erg naar z’n zin heeft, gaan ze dan sneller ook positieve berichten laten horen (‘t zal wel aan mij liggen en het is eigenlijk best cool!) of juist negatievere berichten als een soort ‘tegenwicht’ (het is helemaal niet zo leuk als iedereen jullie wil doen geloven!). Dus: invloed van massapsychologie (groepsdwang, etc.) op de berichtgeving. En helemaal interessant: is dit stuurbaar?
3. Kan het type gebeurtenis een invloed hebben op de gemiddelde berichtgeving? Ik heb daar in een onderzoek (ook op Frankwatching gepubliceerd: http://bit.ly/9PDUVD) wel aanwijzingen voor gevonden. Ik zal ‘m toelichten.
Bedrijven met producten die als ‘dissatisfiers’ worden beschouwd (als ze werken, vind je dat gewoon; als ze niet goed werken, is dat erg irritant), krijgen eerder met negatieve berichtgeving geconfronteerd. Vb’s: energiebedrijven, telco’s, banken. Dat zijn instituten, of (semi-)nutsbedrijven, waarover weinig mensen positieve emoties hebben. Niemand tweet “Heb vandaag weer prima stroom van Eneco! Joepie!”.
Aan de andere kant staan bedrijven met producten die als satisfiers of zelfs delighters worden beschouwd. FMCG zit in de satisfiers-hoek, electronica zien veel mensen als delighter (denk Apple). In deze categorieën is dus ook veel meer positieve berichtgeving te verwachten.
Bij onderlinge vergelijking van sentiment voor verschillende producten/diensten/evenementen zou je wellicht moeten corrigeren voor dit effect. Een soort van ‘satisfaction handicap’ toekennen of zo. Dus terugkomend op een voorstel: ik denk dat Lowlands per saldo meer én meer positieve reacties losmaakt dan een bezoek aan de bakker.
Afijn, leuke materie om over na te denken. Succes!
Volgens mij gaat het bij het meten van emoties via sentiment tracking niet zozeer om de verhouding en in hoeverre deze verhouding representatief is. Je moet deze tools meer gebruiken om te monitoren wat er over je gezegd wordt om hier vervolgens de dialoog mee aan te gaan. Je zult verrast zijn hoe vaak je dan negatieve reacties kunt ombuigen.