Drie maanden lang analyseerde het digitale bureau Greenberry uit Utrecht in opdracht van het Tijdschrift voor Marketing meer dan 1,8 miljoen berichten op social media en weblogs over de top 100 merken in Nederland voor het onderzoek “De Impact van Social Media op Merken”. Ze keken daarbij niet alleen naar het volume maar ook naar het bereik en het sentiment. De uitkomsten van het onderzoek spreken boekdelen.
NS het grootste volume
Niet geheel onverwacht zijn het met name grote dienstverlenende bedrijven waarover het meest gesproken wordt op social media. De NS voert met meer dan 274.000 berichten de ranglijst aan op de voet gevolgd door KPN en retailer Albert Heijn. Maar ook Vodafone en T-Mobile hebben een plekje gekregen in de top 10, evenals Jumbo en C1000. ING is de enige bank die de top 10 haalt. Dit heeft ongetwijfeld te maken met de grote storing in het internetbankieren eerder dit jaar.
80/20 regel
Gemiddeld wordt er over de top 25 merken zo’n 627 keer per dag gesproken met als uitschieter NS die dagelijks meer dan 3.000 vermeldingen krijgt. Goed nieuws voor alle webcare consultants in Nederland; ook onder de top 100 merken blijkt de 80/20 regel op te gaan. De top 25 merken genereren grofweg 80% van de mentions (ongeveer 1,4 miljoen) en de overige 75 merken de resterende 20%.
T-Mobile groter bereik dan KPN
Het bereik van de 1,8 miljoen geanalyseerden berichten is gigantisch. Alleen de berichten van de top 10 merken genereerde gemiddeld al een bereik van meer dan 41 miljoen in de afgelopen 3 maanden. Opvallend aan het top 10 lijstje, is dat de bedrijven met de meeste berichten niet per definitie het grootste bereik hebben. Zo scoort T-Mobile een hoger bereik dan KPN, terwijl KPN meer berichten heeft. Volgens het onderzoek zelf valt dit te wijten aan het feit dat T-Mobile een zeer actief webcareteam heeft ingezet op Twitter met 1.665 berichten in de afgelopen drie maanden en een totaal aantal volgers van ongeveer 21 duizend. Dit in tegenstelling tot het webcareteam van KPN met 242 berichten en ongeveer 4700 Twittervolgers (maart 2012). Met andere woorden: met een actief webcarebeleid kun je dus veel invloed uitoefenen binnen sociale media.
Bereik berekenen
Het bereik is berekend aan de hand van het aantal volgers van de verzenders van de tweets. En het woord volgers geeft eigenlijk al gelijk de grootste tekortkoming aan van het onderzoek: bij het bereik is puur gekeken naar Twitter. Zoals uit de bovenstaande top 10 ook duidelijk wordt, bestaat het grootste gedeelte van de vermeldingen uit tweets. Vermeldingen op Facebook, Hyves en blogs & fora zijn dus niet meegenomen in het bereik. Dit is helaas nog steeds een grote tekortkoming van veel social media-onderzoeken en de meeste monitoring tools die voor deze onderzoeken worden gebruikt. Dat neemt natuurlijk niet weg dat het bereik op Twitter een goede indicatie geeft voor het totale bereik. Iets is beter dan niets.
Over Telfort wordt het meest negatief gepraat
Naast het volume en het bereik, hebben de onderzoekers ook gekeken naar het sentiment. Naar eigen zeggen hebben ze dit gedaan door de berichten te analyseren met taalanalysesoftware op positief, negatief of neutraal sentiment. Op basis daarvan is de sentimentscore te bepalen door het percentage positieve berichten te verminderen met het percentage negatieve berichten.
Dreft komt hier als verrassende winnaar uit de bus. Kennelijk valt er geen onvertogen woord over het wasmiddel op social media. Ook wasmiddelconcurrent Robijn scoort hoog, evenals de Staatsloterij en de Lotto en de retailketens V&D en C&A. Aan het andere eind van het spectrum komen we, niet geheel verrassend de telecommaatschappijen KPN, Vodafone, T-Mobile, Tele2 en Telfort tegen. Wat wel verrassend is, is dat Teltort qua volume en bereik de kleinste is van deze vijf, maar dat er kennelijk wel het meest negatief over wordt gepraat. Het oordeel over twee andere “usual suspects” – de NS en de Nederlandse Energiemaatschappij (NEM) – valt nog mild uit. Opvallend in dit rijtje vind ik Dr. Oetker. Kennelijk valt er volgens de Nederlandse consument nog wat af te dingen op de bakmixen, pizza’s en Paula vla. Ook ruitenreparateur Carglass krijgt het regelmatig breed uitgemeten volgens het onderzoek.
Brancheverschillen
Niet geheel verrassend legt het onderzoek ook duidelijk de onderlinge verschillen tussen de diverse branches (pijnlijk) bloot. De 5 telco’s genereren samen het grootste volume en “winnen” het tegelijkertijd ook qua het meeste negatieve sentiment. Ook banken, supermarkten, automative merken en retailketens zorgen voor veel volume. Gelukkig slagen zij er wel in om de toon van het gesprek in het algemeen positief te houden.
Conclusie: werk aan de winkel
De voornaamste conclusie die we uit dit onderzoek kunnen trekken, is dat er voor veel merken in Nederland nog werk aan de winkel is. Zoals het onderzoek ook laat zien, wordt er substantieel gesproken over de top 100 merken. De belangrijkste conclusies die de onderzoeker zelf trekt, is dat het hebben van een webcare team nog geen garantie is voor een positief sentiment. Ook wordt er nog te weinig gedaan met de inzichten, die we met behulp van tekstanalyse uit al deze berichten kunnen halen. Het onderzoek van Greenberry geeft een interessant kijkje in het volume, bereik en sentiment van de 100 grootste merken van Nederland. Daarmee is het een waardevolle aanvulling op bestaande onderzoeken zoals de Social Media Monitor en de de Facebook Monitor. Wel is het jammer dat het onderzoek geen overzicht bevat van de gehele top 100 die is onderzocht. Wellicht een mooie toevoeging voor de volgende editie.
Over Carglass (en ik heb verder niks met Carglass te maken:) nog dit stukje ivm een wel erg tevreden Steven Van Belleghem: “Customer Experience wordt door Steven omschreven als het managen van verwachtingen. Kijkend naar de voorbeelden gaat het voor mijn gevoel in de praktijk vaak over het overtréffen ervan. Bij de boeklancering gaf Steven als voorbeeld zijn persoonlijke ervaring bij Carglass. Toen ziin ruit gerepareerd moest worden, bleek Carglass naast het keurig repareren van de ruit ook o.a. de lege flesjes in zijn auto te hebben verwijderd. Zijn auto was (ook tot grote tevredenheid van zijn vrouw) van binnen schoner na de ruitreparatie bij Carglass. Carglass overtrof Stevens verwachtingen met positieve buzz tot gevolg (o.a. in Steven zijn slides).”http://www.marketingfacts.nl/berichten/the-conversation-company-steven-van-belleghem/
Enkel Twitter als bron gebruiken maakt het resultaat van dit onderzoek minder representatief. Leuk hoe Seats & Sofa’s laatst in het nieuws kwam met vermoedelijk gekochte likes ui India.
@Alain: Ben ik gedeeltelijk met je eens. Zie ook mijn opmerking in het artikel hierover. Overigens is dat alleen zo bij het analyseren van het bereik en niet bij het volume of het sentiment van de berichten.
Voetbalclubs worden hierin niet gezien als een merk? Kan me indenken dat Ajax als merk, ook vaak benoemd wordt.
Wat me het meest van al in het oog springt zijn de sentimentsanalyses. Hoe komt Greenberry aan die gegevens? De zoektechnologie van Teezir haalt de berichten binnen en met een taalalgoritme dat rekening houdt met zaken als sarcasme, ironie, en dubbele ontkenningen bepalen ze of het sentiment van de zender neutraal, positief of negatief is. 70% betrouwbaar zouden die analyses zijn.
Wat betekent die sentimentsanalyse en waarom zou ze betrouwbaar zijn? Drukt de analyse uit of ik tevreden of ontevreden ben? Leidt men daaruit af of ik trouw zal blijven aan het merk of aan het weggaan ben? Zal ik meer bij hen kopen of minder? Zal ik het merk aanbevelen of afraden? En hoe lang duren de sentimenten? Eén dag zeuren en als mijn bank de rotzooi in 1 dag oplost ben ik dan weer zeer tevreden? Of blijf ik kankeren omdat de fouten zich opstapelen?
De vraag is inderdaad wat de sentimentswaarde is van “berichten”.
Laten we het eerst hebben over de NS. Zijn het merendeel van de geanaliseerde berichten misschien eerder neutrale mededelingen van mensen aan elkaar over treinen die te laat zijn. Over het feit dat je er bijna bent. Over treinen die vol zitten. Die koud zijn. Of zijn het sterk positief gekleurde oordelen in de zin van “NS is minder vervuilend dan de auto†of “NS is veiliger dan de bus†of “NS is goedkoper dan het vliegtuigâ€. Of net omgekeerd: zijn het sterk negatief gekleurde boodschappen?
En hoe gaat zo’n sentimentsanalyse dan om met de eenvoudige zin “Ik zit op de trein†of “De trein rijdt nu het station binnenâ€. Als je wil weten wat de boodschappers van die 274.000 berichten écht over NS denken moet je hen de vraag stellen of ze de NS aanbevelen aan hun vrienden, collega’s of buren. En als ze daarop in hoofdzaak “jazeker “zeggen dan zit je goed. Hoort u vaker “Zeer zeker niet†dan gaat het bergaf met de trein.
Dat NS slechts op plaats 91 staat mbt tot de sentimentsanalyse zegt verre van alles. Maar het kan een slecht voorteken zijn. Om te weten hoe goed (en dus ook hoe slecht) je ervoor staat moet je expliciet de vraag stellen. En ook het waarom.
Mijn vrees die ik een telefoongesprek met Greenberry zeer expliciet uitte dat de wel z̩̩r z̩̩r negatieve score van Carglass wel eens in grote mate te wijten zou kunnen zijn aan de reclame, maar dat Carglass Рals je met een kapotte ruit zit Рuiteindelijk wel eens een hele goeie speler zou kunnen zijn met een hele hoge score van heel tevreden klanten bleek achteraf zeer terecht.
Effe Googlen en ik leerde al veel. Dit zegt Carglass er zelf over hun NPS in een niet-gedateerd stuk op een site.
‘De feedback van onze klanten speelt een cruciale rol in ons bedrijf. We doen zo’n ruim 500.000 reparaties of vervangingen per jaar. Na afloop vragen we klanten om feedback te geven. Een kleine 60% laat dan zijn email adres achter. Vervolgens ontvangen ze een mail. 55% vult de vragenlijst in. Dat levert jaarlijks 150.000 ingevulde enquêtes op. Iedere klantreactie is gekoppeld aan een vestiging en een monteur. Zo hebben we continu inzicht in hoe de klant tegen ons aankijkt, tot op het niveau van de individuele medewerker.
‘Op dit moment varieert de Net Promotor Score (NPS) tussen de 59% en 61%. Voor de meting gebruiken we de ‘officiële’ NPS-vraag: “hoe waarschijnlijk is het dat u Carglass zou aanbevelen bij uw familie, vrienden of collega’s?†De mensen die een 9 of 10 geven, zijn onze promotors. De mensen die een 6 of lager geven, trekken we hier van af om de NPS te berekenen. En als mensen een 7 of 8 geven, dan vragen we ze natuurlijk wat we anders zouden moeten doen om een 9 of 10 te krijgen. Van de respondenten geeft ruim 90% aan bij de volgende schade opnieuw Carglass te bellen.’
‘Carglass is actief in 34 landen, en de NPS wordt in al die landen gemeten. Hoewel we met 61% hoog scoren in vergelijking met veel andere bedrijven binnen de Nederlandse context, staan we in de vergelijking met onze collega’s in andere landen nog lang niet boven aan. Ik denk dat hier culturele verschillen een rol kunnen spelen. Een Amerikaan is misschien wel eerder laaiend enthousiast dan een Nederlander. In het klein zie je dit soort verschillen ook binnen Nederland. In de Randstad is men vaak toch net wat kritischer, is het minder snel een 9 of een 10 dan in de rest van Nederland.â€
’ http://www.flowresulting.nl/knowhow/carglass-loyale-klanten-door-klantfocus-in-de-hele-organisatie/
Waarmee bewezen is wat moest bewezen worden: er hangt alleen maar een negatief sentiment rond Carglass omwille van de spotjes en omwille van onwetendheid van mensen. De mensen die spijtig genoeg klant zijn moeten worden bij Carglass zijn achteraf bekeken zeer tevreden.
En dan kom ik weer terug bij mijn stokpaardje: wat moet een merk dan doen op die sociale media als sentimentsanalyses de mist ingaan en als banner ads amper werken?
Simpel. Een merk moet minstens alle dagen de zenders van die miljoenen berichten identificeren en ermee aan de praat gaan. Dat moet de essentie zijn van hun activiteit. Trek dus vooral niet te vlug conclusies uit boze tweets. Ik ken een mens die vaak ontzettend boos is op Apple, maar toch al meer dan 20 jaar Apple klant is. En dat ben ik.
Dat paradoxale is wat vele kritikasters op de NPS – methodologie totaal verkeerd beoordelen. Klantentevredenheid is helemaal wat anders dan een NPS-score. Ik kan ontevreden zijn over mijn Apple, mijn bank en de NS maar toch mijn Apple, mijn bank en de NS aanbevelen aan vrienden en collega’s. Dat is helemaal niet contradictorisch. Hoe dat dan klinkt vraagt u? Zo bijvoorbeeld: “Ondanks dit en dat en vooral ook dat en dit denk ik toch dat Apple, mijn bank en de NS voor jou het beste zijnâ€. Dat is voorzichtig gewogen oordeel van een klant die zijn sores in een ruimer kader kan plaatse.
En in het geval van Carglass is het best mogelijk dat het bericht iets is in de zin van “Ze maken inderdaad de irritantste spotjes van heel Nederland. So what? Eergisteren ging mijn voorruit eraan en gisteren werd alles hersteld. Snel. Netjes en goedkoopâ€.
Omdat mijn commentaar op de sentimentsanalyse van 100 NL-topmerken er niet echt doorraakt (het zal wel aan China liggen) plaats ik hem in afwachting op Facebook: “Over de tijdelijke slapte van sentimentsanalyse.” http://t.co/VBQt0asQ
Ik haat Telfort en deel die haat met al hun klanten….
Klagen via webcare leidt wel tot klantencontact, maar is net een rubberen muur.
Net ons abonnement DSL verhoogd van 20Mb naar 25 Mb, kunnen ze dat niet leveren ;-(
Terugdraaien kan niet, kleine lettertjes zeggen maximaal…
En ze installeren pas na 2 weken, zodat je je niet kan beroepen op wet ‘kopen op afstand’.
Bah!
Een zeer goed commentaar van Jan op de genoemde Facebookpagina over sentimentanalyse, de moeite van het lezen waard. Tevens zou ik graag weten waarom Dreft zo populair is, daar is iets van te leren! Hoe hebben jullie het wel/niet hebben van een webcare team meegewogen?
Tja, het is heel tricky om uitspraken te doen over sentiment als er niet werkelijk goed naar alle conversaties gekeken is. Ondanks dat niet exact weet over welke 3 maanden het onderzoek gedaan is. Weet ik wel dit in het geval van Dr. Oetker zijn er 2 grappen zijn die steeds terugkerend massaal ge-RT worden. Namelijk over de uitspraak Oetker vs Utker en over ‘zieke pizza naar Dr. Oetker brengen’ De conclusie: “Kennelijk valt er volgens de Nederlandse consument nog wat af te dingen op de bakmixen, pizza’s en Paula vla.” is dus overhaast getrokken. Bij Dreft viel me een Groupon aanbieding die veel ge RT is en die door een tool als positief aangemerkt zou kunnen worden vanwege de positieve woorden. Zo zou ik nog wel even verder kunnen gaan… Verder sluit ik me volledig aan bij Jan van den Bergh. Die kreeg van mij een dikke like!
@Jan: helemaal eens met je analyse, complimenten!
@Jolanda: ik ben het ook grotendeels eens met jou punt. Wellicht dat dit niet voldoende in het artikel aan bod is gekomen, maar in mijn optiek hebben alle social media monitoring tools (o.a. Coosto, Buzzcapture, Teezir, Socialdrums etc etc) hun sterke en zwakke kanten. Hoe goed de tekst algoritmes ook zijn, uiteindelijk komt echte goede social media analyse nog steeds neer op veel handmatige classificatie van berichten: mensenwerk dus! Een onderzoek als dit bied dus slechts een indicatie. Mijn opmerking over de Paula vla was dus wellicht wat sterk, maar het volume op het aantal berichten geeft in ieder geval aan dat er iets aan de hand is; positief of negatief. Hetzelfde geld eigenlijk voor Carglass. Even voor de duidelijkheid: ik ben zelf niet betrokken geweest bij het onderzoek!
@Janen Jolanda: aan de opmerking van Walther te zien klopt de classificatie van Telfort overigens grotendeels wel
@ Marcel – ik hoop dat een groot deel van de sentimentsanalyse inderdaad klopt. Maar het is vreemd dat blijkbaar niemand van zijn kabelaar of zijn telecommer goeie dingen te melden heeft online. In China is China Mobile één van de topbrands. Mochten we al in Nederland zitten, dan zouden we meteen een Holaba-meting kunnen doen en dan de 2 verifiëren.
@Marcel ik heet overigens Jolante
. Anyway, de meting is over 3 maanden gedaan. Er kan b.v. een storing geweest zijn oid. Dat vinden mensen niet leuk. Het is me eerlijk gezegd net iets te plat allemaal. Ik ben n.l. zelf social media analist, menselijke interpretatie/duiding is zoals je al aangeeft een cruciaal onderdeel van een goede analyse.
@Jolante: excuses voor de typo!
Ik ben het met je eens dat het onderzoek zijn beperkingen kent qua tool en periode. Maar dat is met elke social media onderzoek dat ik binnenkrijg. Met name de periode zal ook zeker mee hebben gespeeld bij merken zoals de NS (sneeuw op de rails), ING (storing internetbankieren), KPN (“hack-affaire”), Dr Oetker (grapjes) en Vodafone (brand). Ik heb net even contact gehad met de personen achter het onderzoek en gevraagd of zij ook even in willen gaan op de opzet, de gebruikte methode etc. Als ik door het hele onderzoek heen lees dan krijg ik wel de indruk dat het zorgvuldig is opgezet. Naar mijn inziens bied dit onderzoek daarom wel een waardevolle aanvulling op bestaande onderzoeken zoals de Social Media Monitor. Maar mocht je ideeen hebben hoe we dit beter in kaart zouden kunnen brengen gezien jouw ervaringen deel het dan vooral hier! Dat zal toekomstig onderzoek alleen maar verbeteren.
@Jan: daar kan ik helaas weinig over zeggen aangezien ik het onderzoek zelf niet heb uitgevoerd. Ik heb gevraagd of Jan Willem van Greenberry wat meer kan vertellen over de sentimentsanalyse!
Goed om te zien dat ons onderzoek tot discussie leidt. Een belangrijke aanleiding van het onderzoek was wat sentiment op sociale media heeft te betekenen heeft voor merken.
Jan beargumenteert op Facebook dat sentiment geen betrouwbare parameter is voor klanttevredenheid. Carglass wordt als voorbeeld aangehaald, het merk heeft een hoge NPS score maar scoort in het onderzoek zeer laag op sentiment. Er lijkt geen direct verband te zijn tussen het sentiment op sociale media over een merk en de betreffende NPS scores. In dit geval zou je kunnen stellen dat mensen klagen over een merk terwijl ze tevreden kunnen zijn over de dienstverlening. Net zoals een echtgenoot kan klagen over een een eega in een goede relatie. Een andere aanname is dat mensen zich anders op sociale media gedragen dan dat ze delen in onderzoeksmethodes waarin wordt gevraagd naar gedrag. Denk bijvoorbeeld aan de Philips Senseo, door alle consumentenonderzoek negatief beoordeeld, maar toch een groot succes. Maw vragen naar gedrag hoeft niet altijd het meeste betrouwbare inzicht te geven. En het interessante aan sociale media is dat je heel goed gedrag kunt analyseren om tot betere inzichten te komen. Iets wat wij als bureau veelvuldig doen.
Naar aanleiding van een discussie met Jan van den Bergh heb ik nog wat meer uitgezocht. Voor wat betreft de Carglass case hebben we aan de hand van 100 willekeurige berichten geanalyseerd waarover deze gaan. Bij deze 100 berichten gaan 32 berichten over de dienstverlening, 42 berichten over de reclames en 26 berichten over andere zaken. Carglass is overigens een uitzondering qua negatief sentiment. Van alle 2 miljoen berichten die we hebben geanalyseerd is 16% positief en 11% negatief, mensen zijn dus overwegend positief over merken op sociale media. Dus gemiddeld genomen zijn mensen vaker positief over merken dan negatief.
Voor wat betreft de onderzoeksopzet pleit Jolante om elk bericht in zijn context te plaatsen, dus eerst de conversatie te lezen en dan de inhoud van het bericht analyseren. Voor webcare bij een merk een wenselijke opzet, maar voor een grootschalig onderzoek als deze is dit niet haalbaar (2 miljoen berichten). Wel hebben gekozen voor een grootschalig onderzoek in plaats van een kleinschalig kwalitatief onderzoek. De sentimentanalyse van Teezir garandeert hierbij 70% betrouwbaarheid en gaat verder qua analyse verder dan je zou verwachten. Er zitten wiskundige algoritmes achter die omgaan met grammatica, dubbele ontkenningen. Teezir kan zelf wellicht hier beter op reageren.
Vraag is welke context we sentiment op sociale media moeten geven. Jan stelt dat gezien de aantallen berichten de impact van sentiment op sociale media niet groot is. Ik concludeer dat sentiment een grote beïnvloedbaar is voor merken; Consument vertrouwen elkaar meer dan merken terwijl merken, een bericht van een vriend komt harder aan dan een radiocommercial. Dat in een markt waarin 80% van de budgetten naar paid media gaat en veelvuldig over deze merken wordt gesproken.
1. Mensen bedriegen inderdaad voortdurend zichzelf. Wie zegt dat hij loyaal is stapt kort daarop toch op en wie zegt er de brui aan te geven blijft uiteindelijk klant. De relaties van klanten met merken worden wispelturiger. Vandaar dat The One Question naar diepere zieleroerselen zoekt en niet blijft stilstaan bij sentimenten rond amper ter zake doende dingen zoals radio-commercials. Je zou zo’n sentimentsanalyse dus meteen moeten kunnen opvolgen met directere vragen. Om het zeker te weten. En om het fijne ervan te weten.
2. Bij de 32 Carglass commentaren die echt over het merk zelf gingen was de verhouding dus niet 16% positief en 11% negatief. Wat was ze dan wel?
3. Wat me opvalt is dat er online maar 216 keer per dag over een merk wordt gesproken. Ik weet niet hoeveel “individuen†die 2 miljoen berichten de wereld ingestuurd hebben, maar 216 per dag is weinig.
Voorlopig bevestigt dat mijn vermoeden dat er al bij al niet veel over merken wordt gesproken. En hier gaat het dus over de 100 topmerken. Consumenten doen duidelijk andere dingen op die sociale media. Terecht.
4. In China heeft bijna de helft van de “13 tot 45 jaar†Chinezen elke dag wel iets positiefs te vertellen over een merk. Online doen er dat ongeveer 12-15%. Vertalen we die cijfers naar Nederland dan zouden jullie 1,8 miljoen berichten ruw geschat op 1,5 dag moeten binnenkomen. Nu doet de NL-consument er dus 3 maanden over. De NL-consument praat dus online weinig over merken. In tegenstelling tot de Chinese.
5. Consumenten vertrouwen inderdaad elkaar meer dan ze merken vertrouwen, maar dan gaat het over mensen in hun directe omgeving én over Consumer Generated Evaluations zoals je die vindt op reviewsites à la Tripadvisor. De soms vluchtige uitlatingen (de sentimenten) op sociale media worden voorlopig nog niet hoog ingeschat door de consument die uiteindelijk een beslissing moet nemen over kopen of niet kopen.
@Jan-Willem, Jan: beide bedankt voor de uitgebreide reactie met toelichting/ inzichten!
wat opvalt is dat op social media met name over service bedrijven wordt gesproken, een goede of gebrekkige service is blijkbaar nog steeds de grootse reden voor promotion of detraction. Het wordt interessant om te zien wanneer andere merken zich in de top melden. Vragen en klachten komen meestal niet terecht in social media, maar meer in gecontroleerde kanalen. Productmerken moeten dus een andere manier vinden om relevant te zijn voor consumenten op social media. VW is tot nu toe een uitzondering, ik zie uit naar meer succesverhalen!
Valt mij wel op dat de NS meevalt qua slechte berichten, wanneer komen die nou goed in het nieuws!? Das meteen de tekortkoming van het onderzoek. Bij een goede dienst wordt er zelden een tweet of iets de wereld ingestuurd, alleen bij het goedmaken van een eerdere slechte service wordt het gedaan. Hoe wordt dit trouwens gemeten? Elke tweet of post checken of hij positief of negatief is!?
Ik speel altijd graag advocaat van de duivel, en zeker als één merk er opvallend bovenuit steekt dan gaan er alarmbellen bij mij af.
Bij NS weet iedereen waarom deze onderaan bungelen. Maar dat Dreft bovenaan staat is lastig uit te leggen. Als ik dan naar Dreft tweets kijk zie ik heel veel
“Beste Dreft, ik heb net 4 uur in ‘n bad met water & Dreft gezeten, maar ben geen kilo afgevallen. Het lost dus helemaal geen vet op!”
Tja, als algoritme ‘beste’ dan als positief sentiment opvat, dan snap ik de resultaten wel.
Voor nu en in de toekomst denk ik dat de sentiment beoordelingen steeds beter worden. Nu is deze zoals Jan aangeeft “70% betrouwbaar zouden die analyses zijn”. Er zijn echter in Amerika en zelfs Nederland (www.sntmnt.com) bedrijven bezig die dit steeds verder aan het tweaken zijn…
Ook bij Teezir, het bedrijf dat de onderliggende technologie leverde voor deze top 100 merken studie, werken we continue aan de verbetering van de sentiment analyse algoritmen.
Er is echter een bovengrens. Het blijkt namelijk dat er ook bij handmatige classificatie veel discussie is. Verschillende studies, uitgevoerd op onze eigen data, maar ook extern [1], laten zien dat twee personen het slechts in ongeveer 80% van de gevallen eens zijn over het sentiment van een bericht. Daarmee is dat het best haalbare betrouwbaarheidspercentage.
Op dit moment zitten we op een betrouwbaarheid van 70%. Dat is hoog, maar er is dus nog wat winst te boeken. Door regelmatig handmatig de algoritmen aan te passen op basis van vergelijkingen tussen automatisch en handmatig gelabelde berichten weten we steeds mee te bewegen met de ontwikkelingen van (online) taalgebruik en de betrouwbaarheid van de analyses te verbeteren.
[1] http://doi.acm.org/10.1145/1571941.1572127
Ook bij Teezir, het bedrijf dat de onderliggende technologie leverde voor deze top 100 merken studie, werken we continue aan de verbetering van de sentiment analyse algoritmen.
Er is echter een bovengrens. Het blijkt namelijk dat er ook bij handmatige classificatie veel discussie is. Verschillende studies, uitgevoerd op onze eigen data, maar ook extern [1], laten zien dat twee personen het slechts in ongeveer 80% van de gevallen eens zijn over het sentiment van een bericht. Daarmee is dat het best haalbare betrouwbaarheidspercentage.
Op dit moment zitten we op een betrouwbaarheid van 70%. Dat is hoog, maar er is dus nog wat winst te boeken. Door regelmatig handmatig de algoritmen aan te passen op basis van vergelijkingen tussen automatisch en handmatig gelabelde berichten weten we steeds mee te bewegen met de ontwikkelingen van (online) taalgebruik en de betrouwbaarheid van de analyses te verbeteren.
[1] http://doi.acm.org/10.1145/1571941.1572127