Had Lilian Helder toch gelijk of gaat NRC.nl de mist in?

Toen PVV-Kamerlid Lilian Helder in maart 2011 vraagtekens zette bij een onderzoek naar het effect van taakstraffen op recidive, werd ze stevig bekritiseerd:

“PVV Miep snapt statistiek niet”. NRC.nl beweert nu dat Lilian Helder toch gelijk had toen ze vragen stelde bij de studie van Wermink et al.. In  het Kamerdebat zei ze toen over dat onderzoek dat de recidivekansen van criminelen met een gevangenisstraf en met een taakstraf vergeleek:

Ik vind dat die onderzoeken appels met peren vergelijken; niet appels met koeien, zo ver wil ik niet gaan, maar wel appels met peren. Niet iedere persoon is immers hetzelfde. Recidive slaat terug op de persoon zelf. Iemand die een taakstraf opgelegd heeft gekregen en recidiveert, is iemand anders dan iemand die een vrijheidsstraf opgelegd heeft gekregen en recidiveert; diegene heeft een vrijheidsstraf ondergaan en geen taakstraf. Ik vind dat je die niet met elkaar kunt vergelijken.

Nu blijkt, volgens NRC.nl, dat Helders zorgen terecht waren. Twee onderzoekers bekritiseren in het Tijdschrift voor Criminologie het onderzoek.*

De kritiek die raakt aan de opmerking van Lilian Helder is als volgt. Wermink et al. vergelijken de recidive onder mensen die voor het eerst voor een taakstraf werden veroordeeld met mensen die voor het eerst gevangenisstraf kregen. Probleem van deze vergelijking is dat de meeste mensen die gevangenisstraf krijgen (kortweg gesteld) doorgaans ‘zwaardere criminelen’ zijn en daarom eerder opnieuw de fout ingaan. Daarvoor moet je in de analyse voor corrigeren. De gebruikte methode van propensity matching koppelt daarom voor elk persoon met een taakstraf een soortgelijk (qua geslacht, leeftijd, achtergrond, soort delict, etc.) persoon met een gevangenisstraf. Groenendijk en Van Delft beargumenteren dat dit niet op een goede wijze is gebeurd, waardoor de gevonden verschillen tussen de groep met een gevangenisstraf en die met een taakstraf wellicht komen door heel andere factoren, zoals de (sociale) intelligentie van de dader.

Wat NRC.nl vergeet te vermelden is dat de auteurs van het oorspronkelijke artikel in het Tijdschrift voor Crimonologie reageren (paywall) op de kritiek. Zij stellen dat de techniek wel op een goede manier is uitgevoerd:

De toereikendheid van het propensity score model wordt in onderzoek doorgaans afgeleid uit de mate waarin het model in staat is balans te creëren tussen de experimentele en controlegroep op de verschillende in het propensity score model meegenomen kenmerken. In ons geval zijn er na matching geen significante verschillen meer tussen experimentele en controlegroep, hetgeen nadere ondersteuning biedt voor de toereikendheid van het gekozen model.” (p. 72).

NRC.nl gaat op twee manieren de mist in. Allereerst door alleen aandacht te besteden aan de kritiek en het weerwoord maar even te vergeten. Daarbij is het goed om op te merken dat het onderzoek van Wermink et al. en een Engelstalige versie zijn gepubliceerd in peer-reviewed tijdschriften: er is dus alle reden om de argumenten van de auteurs, die door meerdere vakgenoten zijn bekeken, serieus te nemen.

Daarnaast gaat het dispuut tussen Wermink et al. en Groenendijk & Van Delft niet zozeer over de vraag of je groepen zou moeten vergelijken, maar of de gebruikte methode voldoet. Vergelijking is immers de enige manier waarop je inzicht kunt krijgen in het effect van bepaalde maatregelen. Je kunt moeilijk de geschiedenis terugspoelen om te kijken wat er was gebeurd als we verdachte A een taakstraf hadden gegeven in plaats van een gevangenisstraf. Het is goed dat er kritisch debat is over de vraag of de gebruikte vergelijking voldoet, maar je mag van NRC.nl op z’n minst verwachten dat ze beide kanten van dat debat belicht. 

* NRC.nl verwijst overigens naar het verkeerde artikel, namelijk het originele artikel van Wermink et al.; de kritiek uit 2013 is van Groenendijk en Van Delft (paywall), die overigens een website bijhouden over het gewraakte onderzoek waarop de kritiek is terug te lezen.

Dit artikel verscheen eerder op het weblog Stuk Rood Vlees. Hierop koppelt een vijftal Hollandse politicologen het politicologisch onderzoek aan de actualiteit.