Raten, voten & diggen
Bijna een jaar geleden, in november 2007, begonnen we met de rubriek Site gespot. Vanaf dag 1 was de stemming via ‘Top of flop’ een succes, niet alleen bij de lezers maar ook bij de gespotte sites zelf. En toch gaan we dat fenomeen ter discussie stellen. Raar maar waar.
Top of flop heeft in het afgelopen jaar bewezen dat lezers het waarderen dat ze in de vorm van een stem hun mening kunnen laten horen. En trouwens ook dat ze benieuwd zijn naar het stemgedrag van anderen. Maar het top of flop systeem heeft zijn lange tijd gehad, het stemmen willen we voortaan op een andere manier gaan organiseren.
Een belangrijke beperking van de huidige werkwijze is dat de uitkomst heel plat top of flop is. Ik citeer even Simon (hij is hier achter de schermen de grote aanjager van een nieuw stemsysteem): “Aangezien mensen inderdaad niet vaak een reden geven is dat vrij waardeloos (letterlijk)”. We hebben uitgebreid gekeken naar de manier waarop op andere sites gestemd wordt en kwamen natuurlijk het cijfer-/sterretjes systeem tegen. Maar ook dat biedt nauwelijks extra waarde.
Ook Marc had afgelopen week op Recruitment Matters zo zijn twijfels bij het huidige systeem. Voor ons was dat bericht trouwens ook de directe aanleiding voor deze posting 
Ook uit de reacties hier op Forward blijkt dat er behoefte is aan een meer sophisticated systeem. Ton vraagt om een Top of flop historie. “Wat hebben wij collectief ‘top’ respectievelijk ‘flop’ gestemd (bijvoorbeeld 1 jaar geleden) en hoe staat het er nu mee? Ik zou ook willen zien hoe (on)juist mijn eigen inschattingen waren. Hierdoor krijgen we leerzame terugkijkjes (collectief en individueel): waaraan herkennen we (al dan niet abusievelijk) een top of een flop?”.
Pascal gaf aan het prettig te vinden als via ratings eenmaal per maand de topstories worden bepaald. Dus niet alleen voor de Gespot rubrieken, maar voor alle artikelen. Ook Robert kwam hiermee, volgens hem kunnen we de kwaliteit van Frankwatching nog verder omhoog krijgen door een rating op ieder artikel.
Geleidelijk aan, de een wat sneller dan de ander 
, kwamen we steeds meer tot de conclusie dat we met een Digg systeem het beste uit zouden zijn. Niet gek natuurlijk, het is een systeem dat zijn waarde al dik en dubbel bewezen heeft. Sjors schreef er begin 2007 ook al over en ook eKudos, Nujij.nl (zie ook de interessante discussie over Nujij.nl in Site gespot) en MSN Reporter kozen er niet voor niets voor.
Een van de voordelen van het het diggen is dat we erg gemakkelijk allerlei Top 10’s kunnen samenstellen, dat is veel interessanter en de resultaten zeggen meer dan voorheen. Het op deze manier stemmen voegt naar ons idee echt wat toe, niet alleen aan de rubriek Gespot, maar ook aan Frankwatching als geheel omdat we in het nieuwe ontwerp over alle artikelen op deze manier kunnen laten stemmen. Maar het belangrijkste voordeel is misschien nog wel dat het laagdrempelig is en je op deze manier de auteur van een artikel gemakkelijk kunt bedanken.
- Wat vinden jullie van de keuze om bij alle artikelen (dus niet alleen in de rubriek Gespot) de mogelijkheid te bieden om te stemmen?
- Zijn jullie het eens om ‘Top of flop’ te vervangen door het stemmen op een artikel (zoals bij Digg)?
- Hoe staan jullie tegenover het idee om Top 10’s samen te stellen (Site gespot, artikelen etc.)?
Als het doorgaat, dan zijn we trouwens meteen ook op zoek naar een geschikte naam voor het stemmen / diggen hier op Frankwatching. Binnen het team werd al de term ‘plussen’ geopperd, dat is een door Walt Disney bedachte term voor het overtreffen van verwachtingen in Disney parken en films (”verwachting + 1″). Ik vind ‘m zo gek nog niet…
We zijn weer razend benieuwd naar jullie feedback (en werken trouwens ondertussen ook nog hard door aan het nieuwe ontwerp…)!
Volg Forward via de feed.
Een tweetal interessante links over voten op het web:
http://www.lifewithalacrity.com/2005/12/collective_choi.html
http://www.lifewithalacrity.com/2007/01/collective_choi.html
Marco
6 Okt 08 at 22:57
@ Marco: Zeker erg interessant, daar gaan we nog even naar kijken. Wel jammer dat ze het stemmen volgens de Digg-methode niet meegenomen hebben, als je daar nog wat over tegenkomt dan houden we ons aanbevolen!
Frank Frankwatching team
7 Okt 08 at 00:08
Vind het stemmen per artikel zeker een goed idee.
Voor een geschikte naam dacht ik meteen aan de term “buzzen” van mond-op-mond reclame. dus per artikel zou er dan kunnen staan “Buzz me” en een artikel kan meerdere “Buzzies” hebben.
Ben meteen gaan googlen of de term al gebruikt wordt en helaas vond ik al een site die de term Buzzen gebruikt maar ipv buzzies gebruikt deze site het op de volgende manier: “Dit wordt er nu ‘gebuzzed’” en dan volgen er een aantal producten. (dus het is niet zo dat je per artikel stemt).
Maar op zich vond ik Buzz wel een leuke naam.
Lonneke
7 Okt 08 at 01:56
@Lonneke: Yahoo! vond Buzz ook een leuke naam. Hehe.
Overigens vind ik ergens al die aparte namen (diggen, buzzen, kudos) heel erg onlogisch. Het is jammer dat er geen universele naam voor “ontstaan” is, net als dat we een tagcloud een tagcloud noemen. Ik ben er zelf nog niet uit of het dus echt het beste is om een nieuwe naam ervoor te bedenken of dat we iets elementairs als bijvoorbeeld een hartjes-icoon (”love it”, “love this”) moeten gebruiken.
Verder ben ik ook nog benieuwd of we tijd als factor moeten meenemen. In Top 10’s moeten we dat uiteraard wel, maar moeten we bij artikelen gewoon het totaal aantal stemmen weergeven dat een artikel sinds het gepubliceerd is heeft gekregen, of bijvoorbeeld alleen in de afgelopen maand?
Simon Developer
7 Okt 08 at 10:26
@Simon / @Frank
Ik zou sowieso een soort Bayesiaans systeem toepassen voor de ranking, zodat je een beetje een ‘genormaliseerde’ uitslag krijgt. In onderstaand artikel wordt zoiets uitgelegd, ook voor een stem-systeem als Digg (+ en - stemmen).
http://www.thebroth.com/blog/118/bayesian-rating
Het tijds-aspect kan je hier natuurlijk ook simpel in laten meespelen.
Een ander systeem wat vaak wordt toegepast is het toekennen van een hogere waardering aan stemmen als de gebruiker die stemt ook commentaar heeft achtergelaten. Deze stemmen kunnen veelal als meer accuraat worden gezien, omdat de gebruiker er blijkbaar langer over nagedacht heeft. Geen idee of dit ook werkt bij een Digg-achtig systeem, maar bij de welbekende 5-sterren systemen wordt het wel vaak toegepast.
Marco
7 Okt 08 at 11:02
@Lonneke - Buzzen kan echt niet meer…. dat is net zo fout als pimpen. Sorry hiervoor, maar ik ben echt een tegenstander. Frankwatching… gelieve hier geen modewoord aan koppelen… dan kun je jezelf over 1 à 2 jaar wel voor je hoofd slaan!
Sorry, heb geen passende oplossing nog, maar ga er wel over nadenken. Vind overigens stemmen / reageren nog steeds best passend….. dat is uiteindelijk wat je wilt dat er gebeurt
Eric Woning
7 Okt 08 at 11:06
Op het moment dat ik begin met deze reactie weet ik al dat ik mijzelf ga tegenspreken…
Top of flop, buzzen, raten, plussen, voten of diggen… het zal mij een worst zijn wat anderen denken of welk trend woordje er nou weer aan gehangen gaat worden. Ik heb mijn mening en schiet er geen cent mee op om iemand anders daarvan te overtuigen. Hetzelfde geld voor anderen die mij proberen te overtuigen of iets goed, interessant of leuk o.i.d. is.
Zelden tot nooit laat ik mij overhalen omdat ik er toch mij eigen mening over heb. De reden waarom ik iets lees is omdat ik het op dat moment interessant vind en dat komt door omstandigheden, een goede titel of een goede intro. Zelden tot nooit doordat anderen het leuk vinden. De wereld is al vol met schapen en ik wil en pas niet in een kudde.
Ik snap wel dat het interessant is voor een site om te zien wat/hoe er ge-digged/ge-rate/geplust is maar wat is er mis met gewoon het aantal unieke views te bekijken? Een top 10 maak je dan van combinatie views en top/flops o.i.d. Het enige wat ik als tip mee wil geven voor het nieuwe systeem wat jullie gaan bedenken… KISS. Niks mis met top of flop I.M.O.
Nou nog even terug komen op mijn eigen tegenspraak.. ik type dat het mij allemaal weinig boeit en toch reageer ik. Deze keer was het door omstandigheden… ik kan niet slapen dus dan maar ff wat anders doen.
Maurice
8 Okt 08 at 00:33
Nog 1 off-topic ding…
Ik snap best dat de schoorsteen moet blijven roken maar iets waar je mij mee weg kan jagen is een flash lay-over add zoals nou dat irritante ding van de ABN-AMRO. Die gaat dus mooi in de add-blocker.
Sowieso zie ik regelmatig ‘mooie’ flash add’s die een berg CPU power vragen wat nergens op slaat. Ik denk dat jullie daar weinig invloed op hebben maar toch meld ik het maar even.
Maurice
8 Okt 08 at 00:49
@ Lonneke: Ik geloof dat de term ‘buzzen’ het niet gaat halen… Ik denk ook dat het verwarrend kan zijn om een term te kiezen die al een andere betekenis (”er anderen over vertellen”) heeft gekregen. Jammer dus!
Ik ben het met Simon en Eric eens dat we bij voorkeur een term moeten gebruiken die betekenisvol is (en dus geen modewoord). Zeggen waar het voor staat. Of het ‘love it’ moet zijn, ik twijfel… Maar het zegt wel waar het voor staat, net als ‘vote’ en/of ’stem’. ‘Reageer’ vind ik een te algemene term.
@ Simon: Ik denk dat je niet naar maand moet kijken, maar over een langere periode. Artikelen op Frankwatching rijpen soms over langere tijd een kunnen een of twee maanden later soms dubbel zo vaak gelezen zijn. Dit zal dus ook voor het stemgedrag gaan gelden.
@ Marco: Erg waardevolle aanvulling! Ik kende het Bayesiaans systeem niet (Simon wel geloof ik), maar dat is zeker relevant. Ook je idee om evt. comments mee te laten wegen is nieuw voor me. Het is denk ik de kunst om al experimenteren op zoek te gaan naar de juiste vorm. Je hebt ons mooi op weg geholpen!
@ Maurice: Wat ik een verschil vind tussen het aantal views en het aantal stemmen is je mening over de kwaliteit. Dat je gekozen hebt om door te klikken kan te maken hebben met de titel, het onderwerp of de kracht van de inleiding. Maar of je daarna teleurgesteld of enthousiast bent is een heel andere vraag. Bij sommige artikelen heb je dat gevoel van “yes” dit heeft me echt een inzicht opgeleverd of dit vond ik het heel praktisch toepasbaar. Het gaat erom dat positieve gevoel met elkaar uit te wisselen.
En die lay-over add verraste ons ook. We hadden toevallig eerder vanavond al even een mailtje naar het advertentiebureau gestuurd met de vraag om er een freq. cap van 1 op te zetten (zodat je maar een vertoning krijgt). Dan maar wat minder rook uit de schoorsteen
Frank Frankwatching team
8 Okt 08 at 02:42
Waar je in het geval van top/flop rekening mee moet houden is: WAAR stem je op? op het idee? Op het artikel? Op de argumentatie van de schrijver? Ik kan me voorstellen dat je in het geval van een bespreking van een site wilt weten wat mensen van deze site vinden, terwijl je in het geval van een toekomstverkenning wilt weten wat mensen van je analyse vinden… Food for thought.
Jasper
9 Okt 08 at 14:54
Top of flop vond ik wel top. Punt is dat veel mensen wel een goed of slecht mening willen geven, maar gewoon geen grote stukken willen schrijven. Of enig stuk. De reacties geven doorgaans een heel beperkt beeld, een stem een veel beter beeld.
Stemmen op artikelen is zeker ook waardevol, dus dat zou ik er wel bij willen zien. Maar bij een site gespot zou je dan weer stemmen op de site, minder op het stuk. Maak duidelijk waarop men stemt, en dat is lastig.
Ook is het misschien goed om iets te doen met de waarde van stemmen. Je hebt nu eenmaal veel mensen die alleen positief of alleen negatief zijn. (vooral die laatste hebben we er in Nederland genoeg van). Het zou leuk zijn om binnen de stemmen dan ook een soort stemverhouding te hebben. Bijvoorbeeld: van de 100 ‘flop’ stemmers zijn er 25 die meer dan 90% van hun stemmen negatief zijn of zo
Bas van de Haterd
9 Okt 08 at 18:06
Ola, het stemmen op een artikel is voor een bezoeker/lezer van je artikel vaak een snellere manier om je artikel te waarderen dan het plaatsen van een reactie. Op deze manier krijg je als schrijver sneller een waardering. de top-10-en zijn erg goed, maar vanwege de hoge snelheid waarmee hier nieuwe artikelen online komen, zou ik het misschien niet beperken tot een top-10 maar misschien een top-20.
Overigens is het krijgen van een waardering door FW-ers zeer waardevol en dat kan alleen maar ten goede komen aan de kwaliteit van de content van FW.
Marcel Jansens Auteur
9 Okt 08 at 21:39
@ Jasper: Je maakt eigenlijk het onderscheid wat je bij evaluatie van sprekers ook wel eens ziet: inhoud verhaal en wijze van presenteren. Ik neig er naar om het simpel te houden, dus de (kwaliteit van) inhoud van het verhaal. Bij Site gespot is het dan de kwaliteit van de gepresenteerde site, incl. het idee erachter. Als je ook de ‘vorm van het artikel’ gaat beoordelen wordt het volgens mij wat te ingewikkeld. Misschien moeten we wel duidelijk aangeven waar je op stemt, artikel, site etc. Bas geeft dat in feite ook aan.
@ Bas: De bedoeling is dat we ook bij het stemmen op een site ook een referentiekader hebben, dus niet alleen het absolute aantal telt, maar bijvoorbeeld ook de vergelijking met de scores van de sites. Ook op je andere idee moeten we nog even op kauwen, maar je hebt ons weer wat verder op scherp gezet
@ Marcel: Je draagt inderdaad nog een goed extra argument aan (”snellere manier om te reageren”)! Lengte hitlijst of variaties in hitlijst is zeker iets om rekening mee te houden, staat genoteerd.
Leuk hoe je nog eens onderstreept hoe belangrijk het is dat we het samen doen, hoe we op die manier, auteurs en bezoekers, het kwaliteitsniveau verder omhoog kunnen krijgen.
Dank aan jullie alle drie!
Frank Frankwatching team
9 Okt 08 at 22:43
goed te zien dat mijn opmerkingen gewaardeerd worden… ik mis nog een rating
Marcel Jansens Auteur
10 Okt 08 at 09:23
Haha Marcel, dat is denk ik voor versie 5.0
Frank Frankwatching team
13 Okt 08 at 00:28
Een ‘digg systeem’ lijkt me een prima idee.
Misschien voor de hand liggend, maar mij lijkt “Watch this!” wel aardig, voor op de button om content naar boven te stemmen. Moet er nog wel een werkwoord bedacht worden voor de handeling zelf.
Tibor
18 Okt 08 at 19:21
@ Tibor: Ik had hier ook al eens ‘Watch’ geopperd, die werd hier binnen het team vrij snel afgeschoten. Ik zal met ‘Watch this!’ een nieuwe poging wagen, mijn stem heb je alvast
Frank Frankwatching team
20 Okt 08 at 01:24
Leuk: ik blijf het met extra belangstelling volgen
Tibor
20 Okt 08 at 08:05