“Statistiek liegt niet, maar leugenaars gebruiken statistieken”, is een veelgehoorde uitspraak. Er verschijnen allerlei boeken over foutief gebruik van cijfers en grafische weergaven in de politiek en media. Gemeenten willen in het Sociaal Domein steeds meer informatie-gestuurd en datagestuurd werken. Dit vraagt een nieuwe rol van de klassieke beleidsmedewerker richting de beleidsanalist: het type beleidsmedewerker die (wetenschappelijke) cijfermatige inzichten kan vertalen naar concrete oplossingen en adviezen over maatschappelijke problemen. Een zekere mate van basiskennis over het verschil tussen misbruik en gebruik van cijfers, en veelgebruikte misleidende trucjes zijn dan van belang. In deze blog maak ik je hierop attent.
Te weinig inzicht in achterliggende cijfers om een oordeel te kunnen vormen
Het is te allen tijde van belang een goede inschatting te maken van de achterliggende cijfers van de informatie die je wordt getoond. Onderstaande Figuur 1 laat het gemiddeld aantal dagen ingezette zorg per kind per jeugdzorgaanbieder zien. Figuur 2 zoomt daarnaast in op de verdeling van deze aantallen dagen zorg per zorgaanbieder.
Op basis van Figuur 1 zou je zeggen dat deze zorginstellingen ontzettend vergelijkbaar zijn. Ze besteden per cliënt allemaal gemiddeld 333 dagen zorg. Het is echter foutief om te concluderen dat de verdeling van de zorgdagen per cliënt er bij deze zorginstellingen hetzelfde uit ziet. Aanbieder A levert de meeste cliënten veel minder dan 333 dagen zorg. De aanbieder heeft echter drie uitschieters van lange zorgtrajecten waardoor het gemiddelde op 333 dagen komt. Aanbieder B levert elke cliënt standaard 333 dagen zorg. Bij aanbieder C is de ingezette duur verspreid tussen de 0 en ruim 1000 dagen, en komt dit ook op een gemiddelde van 333 uit.
Een van de wijsheden van schrijver Godfried Bomans is hier van toepassing: als je weet dat een rivier gemiddeld één meter diep is, zou je deze dan zomaar oversteken? Nee. Je wil weten hoe de verdeling van de dieptes over de rivier eruitziet. Op sommige punten kan de rivier veel dieper zijn dan op andere punten. Gemiddeld genomen is de rivier wel één meter diep. Als je een rivier van gemiddeld één meter diep oversteekt, kan het zomaar zo zijn dat je verdrinkt.
Misleidende grafieken
Het is te allen tijde van belang de scope van een grafiek in de gaten te houden: wat zeggen de X-as en de Y-as me? En de waarden die worden weergegeven, zijn dat de juiste? En zo ja, zijn ze dan ook volledig? Onderstaande figuur laat de instroom van jeugdigen op voorzieningen in het voorliggend veld zien. Op basis van onderstaande Figuur 3 zou je kunnen concluderen dat pilot X binnen de jeugdzorg, die als doel heeft het aantal verwijzingen naar jeugdhulp te verlagen en de inzet van preventieve zorg te verhogen, inderdaad tot meer instroom in het preventieve veld heeft gezorgd. Na het bekijken van Figuur 4 zie je dat deze conclusie niet zomaar getrokken kan worden als je ook de maanden januari, februari en maart meeneemt.
Een veelgebruikte speling met grafieken is ook het spelen met de waarden van de X-as. In onderstaande figuren 5, 6 en 7 – die ingaan op het aantal misdrijven door jeugdigen per jaar – zie je hoe vertekenend het kan zijn om de X-as niet bij 0 te laten starten. Het lijkt dan te gaan om een enorme groei, die er in veel mindere mate is. Daarbij is het nog van belang om ook de bevolkingsgroei- of krimp mee te nemen om groei te kunnen bepalen.
Causale relaties versus correlaties
Correlaties kunnen eindeloos gevonden worden. Pas op dat je niet onterecht een causaal verband verondersteld. Een klassiek voorbeeld is de correlatie tussen de inzet van het aantal brandweermannen en de schade die een brand achterlaat. Hoe meer brandweermannen worden ingezet, hoe groter de schade is. Is het dan verstandig om dan maar de inzet van brandweermannen te verlagen? Nee, dat is erg onlogisch. De invloed op beide indicatoren wordt veroorzaakt door een derde indicator, namelijk de grootte van de brand.
Wil je verder sparren over misleidingen in cijfers en wil je graag datagestuurd werken? Zie jij jezelf als de beleidsmedewerker van de toekomst, maar merk je dat je cijfers nog lastig te duiden vindt? Heb je een rapport vol met cijfers liggen en ben je benieuwd naar onze visie hierop? Neem dan contact met mij op via inez.vandewiel@vandamdatapartners.nl
