Ken je dat: van die enquête-resultaten waarop je zelfs in je stoutste dromen niet had durven hopen? Van die topcijfers waarmee je vol trots de eerste, de beste of de schoonste van stad of land kunt zijn? ‘Mechelen in cijfers’, het officiële dashboard van Stad Mechelen, helpt je droom van waanbeeld te onderscheiden doordat je er – met een beetje moeite – ook de betrouwbaarheidsintervallen bij de data vindt. O ja, de titel van dit stuk? Veel te kort door de bocht.
Foto: fietsstraat – soort van
Statistieken laten zich gewillig misbruiken. Ook bij de burgerbevraging uit de Stadsmonitor, de tevredenheidspoll die het Vlaams Agentschap Binnenlands Bestuur organiseert voor steden en gemeenten, loert die verleiding om de hoek.
Neem nu dat persbericht van deze zomer over de Mechelse scores voor mobiliteit. “In vergelijking met de andere Vlaamse centrumsteden zijn we de absolute nummer 1 als je kijkt naar: fietsbezit (91%), bakfietsbezit (36%), en elektrische fietsbezit (ook 36%)”, klinkt het vandaag trouwens nog altijd op de website van Stad Mechelen.
Zowel in bezit van fiets, elektrische fiets of bakfiets scoort Mechelen de eerste plaats.
Uit een persbericht van Stad Mechelen (16 juni 2021). In dit artikel tonen we aan dat dit niet klopt.
Fouten
Volgens de stad slaan die percentages telkens op het aandeel Mechelaars dat een dergelijk rijwiel bezit. Maar dat klopt niet helemaal: de officiële definitie spreekt over het percentage Mechelaars waarvan het gezin (sic) in het bezit is van een fiets, bakfiets, elektrische fiets – en ja, da’s een wereld van verschil.
Het loont hoe dan ook de moeite om, wanneer je zulke percentages leest, je die getallen ook even concreet voor te stellen. Dat 9 op 10 Mechelaars in een gezin leven waar ook een fiets tegen de gevel staat, dat wil je – met enige marge – nog wel geloven als je zelf eventjes door de verschillende Mechelse wijken fietst…
Maar dat 36% van de Mechelaars een bakfiets heeft binnen het gezin? Zulk percentage doet toch meteen een rood lichtje branden?! De detailcijfers uit de Stadsmonitor bevestigen inderdaad dat het om een typo gaat. In werkelijkheid hebben 5,8% van de Mechelaars in het gezin een bakfiets (die 36% slaat enkel op de elektrische fietsen en niet op de bakfietsen, red.).
Maar is die bijna 6 procent ook voldoende om vol te houden dat Mechelen bovenaan staat als dé bakfietsstad van Vlaanderen, zoals ook schepen voor mobiliteit Vicky Vanmarcke (Open VLD) voorbije zomer nog in een kranteninterview beweerde?
Marge
De vraag stellen is ze beantwoorden: bij een enquête mag je niet alleen naar het percentage kijken. Ook de zogenaamde ‘betrouwbaarheidsintervallen’ en ‘foutenmarges’ tellen mee.
Bij onderzoeken die zich baseren op een steekproef om veralgemenende uitspraken te doen, moeten we rekening houden met een foutenmarge.
Website Stadsmonitor – Agentschap Binnenlands Bestuur
Op die manier krijg je een veel genuanceerder beeld te zien, waaruit helemaal niet blijkt dat Mechelen boven alles en iedereen uittorent. Jazeker, de Mechelse score is hoog. Toch overlapt het Mechels betrouwbaarheidsinterval met dat uit Antwerpen, Gent, Brugge, Leuven, Kortrijk en Turnhout. Mechelen dé bakfietsstad? Niet hard te maken.
Wanneer de verschillende betrouwbaarheidsintervallen elkaar overlappen, dan kun je niet van een significant verschil spreken, valt te lezen op de site van de Stadsmonitor.
Er is een lichte overlap tussen de twee betrouwbaarheidsintervallen. Je kan hier bijgevolg niet spreken van een significant verschil tussen de twee metingen.
Website Stadsmonitor – Agentschap Binnenlands Bestuur
De claim dat Mechelen zowel de eerste plaats behaalt onder centrumsteden bij het bezit van fiets, elektrische fiets of bakfiets valt niet hard te maken. Telkens overlappen de betrouwbaarheidsintervallen van meerdere centrumsteden waardoor er een redelijke kans bestaat dat die eer een andere centrumstad toekomt.
Wist je dat het dashboard ‘Mechelen in cijfers’ voortaan ook data over drie Mechelse stadsdelen de wereld instuurt? Op die manier krijg je een veel genuanceerder beeld van onze stad. Het gaat over cijfers voor het Mechelse stadscentrum, het verstedelijkt gebied en de dorpen. Vergeet natuurlijk niet om ook hier altijd de betrouwbaarheidsintervallen in rekening te brengen wanneer je die hyperlokale cijfers raadpleegt. De stad beloofde een extra informatieblokje toe te voegen in het dashboard met duiding over de interpretatie en een link naar de betrouwbaarheidsintervallen – over een spontaan partnerschap gesproken. 🙌
Waarom er bij het overzicht van alle centrumsteden toch nog altijd grafieken verschijnen zonder rekening te houden met de betrouwbaarheidsintervallen, vroegen we nog aan het Agentschap Binnenlands Bestuur. “De nadruk ligt op de resultaten per bestuur, minder op de expliciete ranking”, reageert men bij ABB. “Dus de correcte lezing van de tabel is zeker dat Mechelen hoort tot een groepje van steden die het goed doen op deze indicator en niet meteen dat Mechelen [bijvoorbeeld] de 2e plaats inneemt. We geven geen betrouwbaarheidsintervallen in de tabellen omdat de ervaring ons leert dat dit qua visualisatie te zwaar wordt voor de meerderheid van gebruikers, die daarop afhaken.” Wel wees de ambtenaar erop dat voor diegenen die dat wensen de betrouwbaarheidsintervallen terug te vinden zijn op de site van de de Stadsmonitor.
Feedback over ons leerproces?
Vul aan, verbeter, post tips en links en help samen met ons de statistiek over onze stad inzichtelijker te maken.
Met deze 4e les in de reeks geen paniek, het is maar statistiek leren we, dankzij het Vlaams Agentschap Binnenlands Bestuur én Stad Mechelen, de enquête-resultaten uit de burgerbevraging van de Stadsmonitor voortaan op een correcte manier lezen.
UPDATE
De Stad wijzigde de typo van 36% ondertussen geruisloos op de pagina van het oorspronkelijke nieuwsbericht naar het correct percentage van 6% bakfietsen.
As Gau Paust 