Nieuwsuur en de suggestieve statistieken

“Statistieken zijn als bikini’s. Wat ze blootleggen is suggestief, maar wat ze verhullen is de essentie.” Dit grapje van professor Aaron Levenstein schoot door m’n hoofd toen ik naar een reportage van Nieuwsuur keek over het Europees onbehagen. Als onderdeel van de serie ‘De Europese Worsteling’ reist verslaggeefster Saskia Dekkers door Europa. Gisteren was het slot met een reportage uit het ‘eurosceptische’ Limburg. Insteek: waarom stemmen Limburgers toch op protestpartijen en zijn ze zo kritisch op Europa?

Ter ondersteuning van de reportage heeft het actualiteiten- en onderzoeksprogramma een onderzoek laten uitvoeren naar de opvattingen van Nederlanders én Limburgers over Europa door het gerenommeerde bureau IPSOS. En dan blijkt hoe suggestief Nieuwsuur te werk gaat met statistieken, waarbij de essentie (Limburgers denken helemaal niet afwijkend over Europa) goeddeels gepasseerd wordt. Nieuwsuur gebruikt statistiek als een bikini om het gewenste te suggereren. 

‘In het hart van Europa’ Het begint al met de aankondiging van het item in de studio. Volgens presentatrice Mariëlle Tweebeeke ligt Limburg ‘in het hart van Europa’. Wat Nieuwsuur hiermee suggereert is onduidelijk. Ligt het dichter bij de Europese instellingen in Brussel dan de rest van Nederland? Zoja, liggen Brabant en Zeeland dan ook in het hart van Europa (want dichterbij Brussel)? Ligt het midden in Europa, met een afstand van zo’n 335 kilometer tot Gelnhausen , het geografische middelpunt van de EU? Een afstand groter dan de lengte van Nederland. Het middelpunt van Europa ligt overigens in Oost-Europa, dichtbij Groningen en Drenthe. Of is het een Europese provincie omdat het grenst aan twee landsgrenzen (Duitsland en België)? Het lijkt, zonder uitleg, echter het cruciale argument te zijn waarom Saskia Dekkers voor Limburg kiest.

Dat argument wordt door presentatrice Mariëlle Tweebeeke sterker gemaakt omdat zij suggereert dat er met Limburg iets bijzonders aan de hand is. Limburg, toch zo dicht bij Brussel, is sceptischer over Europa dan de rest van Nederland. De slotzin van haar aankondiging: “Nederland, en met name Limburg, dicht bij Brussel en toch zo sceptisch.” Die “en met name Limburg” suggereert dat Limburg sceptischer is dan de rest van Nederland. Maar wat blijkt uit het Nieuwsuur-onderzoek? IPSOS:

Uit ons onderzoek is geen bevestiging gevonden voor de hypothese die Nieuwsuur voorafgaand heeft gesteld: Limburgers zijn niet eurosceptischer dan de rest van de Nederlanders.

Nietszeggend Hoe kan het dat een gerenommeerd actualiteitenprogramma een, waarschijnlijk kostbaar, onderzoek laat uitvoeren als het vooral in de eigen aannames is geïnteresseerd? Wat is dan nog het nut van onderzoek doen? Waarschijnlijk ligt het antwoord in het feit dat cijfers en onderzoek een programma autoriteit geven. Daarom geeft Astrid Kersseboom waarschijnlijk ook in de studio alvast een inleidende presentatie met enkele uitkomsten van het onderzoek. Zodat wij weten als kijker dat er nu een prachtig staaltje onderzoeksjournalistiek komt.

Helaas blijken de cijfers die Kersseboom, weergegeven in strakke grafieken op een groot bord, geeft niet alleen incorrect, maar ook nietszeggend te zijn. Als eerste presenteert zij de antwoorden op de vraag: “Bent u van plan om te gaan stemmen bij de komende Europese Parlementsverkiezingen?”. Volgens Kersseboom geeft meer dan zeventig procent van de Nederlandse bevolking aan dat ze gaan stemmen. Maar “in Limburg lopen ze minder warm voor deze verkiezingen. Daar geeft ruim zestig procent aan te gaan stemmen”.

Nu de cijfers volgens IPSOS. Zo’n 42 procent van de Nederlanders is zeker van plan te gaan stemmen, 30 procent is waarschijnlijk van plan te gaan stemmen (NOS combineert die 72 procent tot “70 procent zegt dat ze gaan stemmen”). Onder de Limburgers is 35 procent zeker dat ze gaan stemmen, en 29 procent gaat dat waarschijnlijk doen (deze 64 procent wordt door NOS gecombineerd tot 60 procent die gaat stemmen).

Niet alleen simplificeert NOS dus de intentie, ook zit ze er met deze voorspelling waarschijnlijk naast. De opkomst bij de Europese verkiezingen toont een dalende trend en kwam de vorige keer uit op 36,5 procent. Dat nu de opkomst zou verdubbelen is niet aannemelijk. Misschien moet Nieuwsuur uitleggen wat de presentatie van de stemintentie zegt? Ook IPSOS zelf concludeert in haar onderzoek dat je op basis van hun gegevens geen opkomstvoorspelling mag en kan doen: “Op basis van de onderstaande resultaten kan geen prognose gemaakt worden van de opkomst bij de komende EP-verkiezingen.” Nieuwsuur doet dat duidelijk wel.

Dubieus Na de opkomstvoorspelling gaat Nieuwsuur vrolijk door met een peiling. Na de vraag “Op welke partij bent u van plan te gaan stemmen bij de komende Europese Parlementsverkiezingen?” noemt Kersseboom telkens volgens eigen zeggen de “drie grootste partijen” en vergelijkt het gemiddelde van Nederland en Limburg. De PVV blijkt groter te zijn in Limburg. Maar zegt dit iets? Nee. De verschillen zijn volgens IPSOS “niet significant”.

De kans dat het verschil tussen de twee steekproeven verklaard kan worden door toeval in plaats van een daadwerkelijk verschil is te groot. Ook wordt de foutmarge niet gegeven. Nu de partijen zo dicht bij elkaar liggen (enkele procentpunten), is de kans aanwezig dat de drie partijen die gepresenteerd worden als de grootste in de peiling, dat in werkelijkheid helemaal niet zijn.

Volgens een Nieuwsuur-redacteur op Twitter zouden de SP en PVV gecombineerd wel een significant verschil maken. De data ontbreken echter om deze claim te kunnen staven, en het zou ook een tikkie dubieus zijn (je model zo kneden dat je een gewenste uitkomst creëert – waarom zou je vergelijkbare protestpartijen als 50+ en PvdD uitsluiten dan bijvoorbeeld?).

Zieltogende Limburger Verder blijkt uit het onderzoek van IPSOS dat Limburgers niet meer of minder geïnteresseerd zijn in Europese politiek dan de rest van Nederland, Limburgers niet negatiever zijn over mate waarin de Europese Unie oplossingen aanlevert en dat opvattingen over nationale politiek net zo bepalend zijn voor de stem als de Europese standpunten (wat later in het item kort wordt uitgelegd door politiek wetenschapper Tom van der Meer).

Kortom: er is niet zo veel aan de hand. En alle verschillen in de resultaten die Kersseboom presenteert zijn of niet significant (teveel kans dat ze op toeval berusten) of nietszeggend. En zeker geen aanleiding om het clichématige beeld neer te zetten van de zieltogende Limburger die last heeft van z’n identiteit terwijl ‘ie op z’n trompet speelt van de plaatselijke harmonie in zijn dorpshuis.

Hoe komt het dan dat Nieuwsuur wel dit beeld wil neerzetten? Dat komt misschien omdat ze het verhaal al hadden voor de uitkomst van het onderzoek. IPSOS schrijft het volgende over de aanvraag van Nieuwsuur:

Nieuwsuur veronderstelde dat het euroscepticisme onder Limburgers groter is dan onder andere Nederlanders. De PVV, welke sterke anti-Europese ideeën heeft, zou in deze provincie op grote steun kunnen rekenen.

Daarom wil IPSOS graag antwoord krijgen op de volgende onderzoeksvraag: “Is het euroscepticisme groter onder Limburgers dan onder andere Nederlanders?” Het antwoord is inmiddels bekend: nee, die is niet groter. En de PVV is ook al niet significant groter in Limburg. 

VVD Dit soort ‘journalistiek’, gebaseerd op veronderstellingen (tegen beter weten in), is kwalijk. Niet alleen creëert het verschillen waar er overeenkomsten zijn, maar ook heeft het geen oog voor de wel interessante vragen die gesteld kunnen worden. Zo blijkt uit het IPSOS-onderzoek dat Nederlanders de VVD als meest pro-Europese partij zien (terwijl je dat op basis van Kamerdebatten en inhoudelijke analyse van het partijprogramma niet zou veronderstellen).

Ten tweede is het onderzoek van Tom van der Meer interessant: als de mening over Europa samenhangt met de mening over de nationale politiek, dan is het eventuele succes van Wilders afhankelijk van het falen van nationale politiek in plaats van de Europese politiek. Dan zou de burger dus niet sceptisch zijn over de, veronderstelde, overdracht van bevoegdheden naar de Europese Unie of haar prestaties, maar over de resultaten van de politiek van nationale leiders. Dat brengt een heel ander debat met zich mee. Dan zou de titel van het item niet “Europees onbehagen”, maar “Nederlands onbehagen” zijn. Hopelijk neemt Nieuwsuur die inzichten mee als Geert Wilders donderdag te gast is bij het programma.

Gelukkig heeft Nieuwsuur het onderzoek online gezet zodat de beweringen te checken zijn. Maar in de toekomst zou het nog beter zijn als de beweringen zelf ook kloppen. Nieuwsuur, geef ons de feiten! 

—

Update. Reactie Nieuwsuur: fout ligt bij IPSOS. Onderzoeksbureau IPSOS heeft een geupdate versie online gezet ( oud en nieuw ). Zover ik het kan overzien zie ik twee verschillen. Ten eerste is bij de peiling op blz 9 de zin ‘Percentages verschillen niet significant van elkaar’ weggehaald. Volgens IPSOS is dat omdat de som van PVV en SP gecombineerd (als protestpartijen) wel significant verschilt. Zoals in de blog beschreven (redacteur Nieuwsuur zei dit eerder, heb het meegenomen in de blog) moet dit wel theoretisch onderbouwd worden ( zegt ook wetenschapper Tom Louwerse). De vraag blijft echter of de rest significant verschilt en wat de foutmarge is. Tweede verschil is de stemintentie. IPSOS schrijft nu duidelijk op blz. 8 dat die niets zegt over de opkomst. Dat is een goede en waardevolle toevoeging, die ook in Nieuwsuur zelf op z’n plek was geweest.

De updates doen overigens niet af aan de overige klachten. Het rapport is nu helder, de presentatie allerminst (en die is uiteraard niet te ‘updaten).

Bekijk hier de reportage van Nieuwsuur

Bekijk hier de serie ‘De Europese worsteling’

Dit artikel verscheen op het weblog van Sywert van Lienden