Hoe meet je het succes van een overheidscommunity?

Het succes van online communities die door bedrijven worden gerund, is makkelijk te meten. Bijvoorbeeld in aantal berichten, bookmarks of pageviews. Maar hoe meet je het succes van een overheidscommunity? In dit artikel geven we een antwoord op die vraag op basis van de businesscase die Zenc heeft gemaakt voor het ondernemersforum Higherlevel.

Higherlevel: zeer succesvol forum

Het ondernemersforum Higherlevel heeft meer dan 30.000 leden en wordt gefinancierd door het Ministerie van Economische Zaken. Per maand zijn gemiddeld  668 leden actief op het forum. Zij plaatsen per dag gemiddeld 183 berichten. Hiermee is het één van de meest succesvolle voorbeelden van het gebruik van communities door de overheid in Nederland.

Natuurlijke ontwikkeling

Higherlevel is in 2002 opgericht. Tijdens de oprichting is geen strategie vastgesteld voor de manier waarop Higherlevel zich zou ontwikkelen. Het forum heeft zich op een natuurlijke manier ontwikkeld en is uitgegroeid tot de grootste online community van en voor ondernemers. Dit is gerealiseerd zonder top-downsturing vanuit de financier; het ministerie. Aan het einde van 2009 ontstaat de behoefte om te weten in welke mate het forum succesvol is en of er ruimte is voor verbeteringen om ook de komende jaren optimale voorwaarden te scheppen voor een bloeiende community.

Strategieën om succes te meten

Om die vraag te beantwoorden zijn twee strategieën gebruikt. De eerste strategie is het op een ‘harde’ manier meetbaar maken van de indicatoren die ons iets vertellen over de populariteit van het forum. Dit is uit de drukken in absolute getallen (al dan niet afgezet in de tijd) en in ratio’s. De tweede strategie is te omschrijven als een diepte-analyse van de inhoud van het forum. Dit drukken we uit in onderwerpen die veel worden besproken en een stijging of daling per hoofdonderwerp. Binnen Higherlevel zijn delen van het forum, de zogenaamde subfora, gewijd aan onderwerpen binnen het thema ondernemen.

Hard meetbaar maken: lastiger dan je denkt

‘Hard meetbaar maken’ klinkt erg mooi, maar het vaststellen van de juiste indicatoren om het succes vast te stellen is lastiger dan je denkt. Higherlevel is de laatste jaren gegroeid zonder een expliciete strategie aan de basis. Dat maakt het lastig om ‘succes’ te definiëren. De vraag ‘wat wil je weten over het forum om te bepalen of het succesvol is’ kun je niet beantwoorden door terug te grijpen op de vastgestelde strategie. Om die vraag toch te kunnen beantwoorden, hebben we achteraf indicatoren opgesteld die op dit moment iets zeggen over de mate waarin het forum succesvol is. Hiervoor gebruiken we indicatoren die iets zeggen over de absolute omvang van het forum. Het aantal leden op een bepaald tijdstip en het aantal berichten dat sinds de oprichting is geplaatst, zijn voorbeelden.

Grotere community niet altijd betere community

Bovenstaande indicatoren zeggen echter nog weinig over het succes, maar wanneer je ze afzet in de tijd ontstaat een beeld van het tempo waarin de community groeit. De indicatoren die we hiervoor hebben gebruikt zijn ‘het aantal nieuwe leden per maand’ en ‘het aantal nieuwe berichten per maand’. De impliciete aanname die we hiermee doen, is dat een grotere community een betere community is…

…maar dat hoeft niet zo te zijn! Daarom willen we ook iets weten over de mate waarin Higherlevel haar doelgroep bereikt. Het is immers een community voor ondernemers en dus niet voor iedereen. De ratio die we gekozen hebben is ‘het aantal geregistreerde leden van Higherlevel als percentage van het aantal ondernemers in Nederland’ en, als een verfijning daarop, ‘het aantal nieuwe leden per maand als percentage van het aantal startende ondernemingen per maand’. Deze indicator laat zien welk deel van de ondernemers door Higherlevel wordt bereikt en welk deel van de startende ondernemers door Higherlevel wordt bereikt. Ook dit kun je afzetten in de tijd zoals we in onderstaande afbeelding hebben gedaan.

Bij de laatste twee indicatoren moeten we wel een kanttekening maken: het hoeft natuurlijk niet zo te zijn dat iemand die zich aanmeldt bij Higherlevel ook staat geregistreerd bij de Kamer van Koophandel. Dat betekent dat de indicatoren niet 100% accuraat zijn. Het geeft wel een indicatie van de mate waarin Higherlevel haar doelgroep bereikt.

Diepte-analyse: analyse per subforum

Ook de inhoud van het forum is bestudeerd om een completer beeld te krijgen van het succes van het forum. Dat doen we op twee manieren, namelijk door het aantal berichten per subforum te analyseren en 100 threads te bestuderen.

Van de subfora hebben we voor de afgelopen 18 maanden vastgesteld welke onderwerpen een toenemende of afnemende belangstelling kennen. Ieder subforum heeft een eigen onderwerp. Door vast te stellen in welke subfora het aantal berichten per maand toeneemt of afneemt, kunnen we uitspraken doen over de mate van belangstelling voor het onderwerp. Daarnaast analyseren we per subforum het gemiddelde aantal reacties op een openingsbericht. Als in een subforum het gemiddelde aantal reacties op een openingsbericht een stijgende lijn vertoont, dan betekent dit dat de discussies binnen dat subforum intensiever worden. Dit zegt iets over de toenemende of afnemende belangstelling voor het onderwerp. Daarmee zegt het ook iets over in welke (informatie)behoefte het forum succesvol voorziet en in welke informatiebehoefte het forum minder succesvol voorziet.

Diepte-analyse: analyse van 100 threads

De tweede manier is om meer ‘in diepte’ te bekijken wat voor onderwerpen worden besproken. We hebben 100 threads gelezen en geanalyseerd. Dit geeft een meer verfijnd beeld dan de onderwerpen zoals ze gedefinieerd zijn in de onderwerpenstructuur van het forum en haar subforums. Op basis van deze analyse trekken we de conclusie dat threads met de onderwerpen ‘informatisering’ en ‘het starten van een onderneming’ langlopende threads zijn. Threads met onderwerpen over ‘politiek’ en ‘evenementen’ lopen korter. Een andere opvallende conclusie is dat met name de zachte kant van het ondernemen veel besproken wordt op het forum.

Conclusie

De belangrijkste conclusie is dat het heel goed mogelijk is uitspraken te doen over het succes van een community, ook wanneer met deze community een maatschappelijk doel wordt nagestreefd. Dat is mogelijk door ‘harde indicatoren’ af te zetten tegen andere relevante indicatoren, bijvoorbeeld het aantal nieuwe leden per maand als percentage van het aantal startende ondernemingen per maand. Hierdoor is het mogelijk op een meer betekenisvolle manier te meten wat de mate van succes is. Maar dat geeft nog geen compleet beeld. Dat verkrijg je pas wanneer je deze harde indicatoren combineert met zachtere indicatoren die aan de inhoud gerelateerd zijn, bijvoorbeeld door de intensiteit van de discussie per onderwerp te meten. Pas dan krijg je een compleet inzicht in het succes van de community.