IbnRushd
06-03-09, 14:18
De peiling van Maurice de Hond deugt niet
De waarde van een peiling staat of valt met een representatieve steekproef
Gepubliceerd: 3 maart 2009 17:33 | Gewijzigd: 5 maart 2009 14:36
De opiniepeilingen van De Hond zijn niet gebaseerd op goede, representatieve steekproeven. Daarom moet er geen grote waarde aan worden toegekend.
Door Joop van Holsteyn
Een ieder heeft recht op een eigen droom. De grote droom van Geert Wilders is wellicht getiteld ‘Alle moslims de wereld uit, te beginnen uit Nederland’. In de schaduw hiervan droomt hij echter, zeker sinds het afgelopen weekeinde, een kleinere droom. Wilders ziet zichzelf daarin als de minister-president van Nederland. Dat kon althans worden afgeleid uit zijn reactie op de recente opiniepeilingen van Peil.nl van Maurice de Hond. De PVV had in die peilingen twee zetels gewonnen, de PVV was met 27 zetels zelfs de grootste partij van het land. De Telegraaf wist het te melden in de krant van zondagmorgen, en de overige kranten hadden er maandag aandacht voor.
Maar ja, dromen zijn bedrog. En voor Wilders moet worden gevreesd dat zijn grote noch zijn kleine droom bewaarheid wordt. Inderdaad, zelfs die kleine droom zal mogelijk een illusie zijn. Dat is niet alleen zo omdat het hem – mocht hij na volgende verkiezingen werkelijk de partijleider zijn van de grootste partij in de Tweede Kamer – moeilijk zal vallen om coalitiepartners te vinden.
Zover is het echter nog lang niet. Want het geruchtmakende resultaat uit de koker van De Hond, dat overigens niet helemaal strookt met de uitkomsten van andere opiniepeilers en dat zoals gebruikelijk nogal kritiekloos door de media wordt gepresenteerd, moet van kanttekeningen worden voorzien.
Om te beginnen: het zijn maar peilingen – het is al vaak gezegd maar even vaak weer snel vergeten. En belangrijker: het zijn peilingen op basis waarvan strikt genomen helemaal geen wetenschappelijk verantwoorde uitspraken over het Nederlandse electoraat kunnen worden gedaan. De stap van steekproef naar populatie, van Peil.nl naar ‘de’ Nederlandse kiezers, is een wilde, onverantwoorde sprong. De claim van representativiteit, die De Hond in de verantwoording van zijn peilmethode maakt, is eerder een staaltje bluf dan een positie die wetenschappelijk gestut is.
De kern van het probleem zit in de selectie van de deelnemers in het panel van De Hond. Het betreft een probleem dat inherent is aan peilingen die gebaseerd zijn op zelfselectie van deelnemers. En zo goed als onoplosbaar. Het feit dat De Hond, zoals veel anderen, gebruikmaakt van internet om zijn vragen voor te leggen en antwoorden te vergaren, is als zodanig niet relevant. Waar het eerst en vooral misgaat met Peil.nl, en in beginsel met alle peilers die op deze wijze hun respondenten verzamelen, is dat de groep deelnemers aan de peiling niet het resultaat is van een willekeurige (aselecte) selectie van Nederlandse kiesgerechtigden.
Dat zou eigenlijk moeten, weet ook De Hond. In de uitleg van zijn methode geeft hij aan dat een peiling op basis waarvan men wil generaliseren aan de volgende eis dient te voldoen: „De essentie van het trekken van een dergelijke steekproef is dat ‘alle Nederlanders een gelijke kans hebben om in de steekproef terecht te komen’.” Inderdaad, bij een kanssteekproef is tevoren bekend hoe groot de selectiekans van iedereen is. Bij zelfselectie is dat onmogelijk.
De uitleg gaat verder. Het trekken van een dergelijke aselecte steekproef is erg moeilijk, luidt de verzuchting, en is bij alle vormen van peilen een bron van zorg en hoofdbrekens, wat de vertaling van steekproef naar populatie of electoraat ook compliceert. Dat klopt helemaal. Maar dat houdt natuurlijk nog niet in dat het basisprincipe van een aselecte werving van respondenten overboord kan.
Want dat is precies wat gebeurt in de ‘andere methode’ die De Hond als de kern van zijn Peil.nl beschrijft. Omdat het moeilijk is om het te doen volgens de strikte regels – die als voordeel hebben dat gebruik kan worden gemaakt van de kennis van de waarschijnlijkheidsleer – moet het maar op een manier waarvoor de regels niet meer gelden. Met het badwater wordt het kind weggegooid.
Zeker, De Hond doet vervolgens wat hij kan om de mensen die zich vrijwillig melden in zijn internetpanel alsnog naar zijn hand te zetten. Hij probeert zijn panel op een niet al te doorzichtige wijze representatief te maken en maakt subgroepen van zijn totale bestand van deelnemers. Dat is niet per se onjuist of onverantwoord. Maar met al zijn in- en kunstgrepen kan De Hond de weeffout die onvermijdelijk bestaat, nooit werkelijk corrigeren. De fraaie schillen kunnen de bedorven kern niet compenseren.
De deelnemers aan zijn onderzoek – vaste leveranciers van meningen met alle extra problemen van dien – kunnen niet worden gezien als een groep kiesgerechtigden op basis van wie verantwoorde uitspraken over de Nederlanders en het electoraat worden gedaan. Dat is jammer, maar het is niet anders. De Hond mag van week op week melden wat de deelnemers van zijn panel denken en vinden, maar trekt een veel te grote broek aan als hij meent daarmee de opvattingen van alle Nederlanders te verwoorden.
In 1937 ging het Amerikaanse weekblad Literary Digest failliet. Het ging al tijden minder met het blad, maar de genadeklap was uitgedeeld in 1936, toen op basis van een steekproef van dik 2 miljoen burgers de verkeerde voorspelling werd gedaan over de nieuwe Amerikaanse president. En dat na een indrukwekkende serie van correcte voorspellingen. Die correcte voorspellingen waren meer geluk dan wijsheid; de misser was verklaarbaar op wetenschappelijke gronden, zoals onder anderen George Gallup liet zien. De steekproef van Literary Digest deugde niet, en er waren problemen met de selectiviteit in respons.
We zijn ruim zeventig jaar verder, en ten aanzien van deze problematiek terug bij af. De steekproef van Peil.nl deugt niet en er zijn problemen met respons en non-respons. Peil.nl hoeft wat mij betreft niet failliet, maar ik droom van een nieuwe George Gallup.
Prof.dr. Joop van Holsteyn is universitair hoofddocent en bijzonder hoogleraar Kiezersonderzoek aan de Universiteit Leiden.
Bron: nrc.nl
De waarde van een peiling staat of valt met een representatieve steekproef
Gepubliceerd: 3 maart 2009 17:33 | Gewijzigd: 5 maart 2009 14:36
De opiniepeilingen van De Hond zijn niet gebaseerd op goede, representatieve steekproeven. Daarom moet er geen grote waarde aan worden toegekend.
Door Joop van Holsteyn
Een ieder heeft recht op een eigen droom. De grote droom van Geert Wilders is wellicht getiteld ‘Alle moslims de wereld uit, te beginnen uit Nederland’. In de schaduw hiervan droomt hij echter, zeker sinds het afgelopen weekeinde, een kleinere droom. Wilders ziet zichzelf daarin als de minister-president van Nederland. Dat kon althans worden afgeleid uit zijn reactie op de recente opiniepeilingen van Peil.nl van Maurice de Hond. De PVV had in die peilingen twee zetels gewonnen, de PVV was met 27 zetels zelfs de grootste partij van het land. De Telegraaf wist het te melden in de krant van zondagmorgen, en de overige kranten hadden er maandag aandacht voor.
Maar ja, dromen zijn bedrog. En voor Wilders moet worden gevreesd dat zijn grote noch zijn kleine droom bewaarheid wordt. Inderdaad, zelfs die kleine droom zal mogelijk een illusie zijn. Dat is niet alleen zo omdat het hem – mocht hij na volgende verkiezingen werkelijk de partijleider zijn van de grootste partij in de Tweede Kamer – moeilijk zal vallen om coalitiepartners te vinden.
Zover is het echter nog lang niet. Want het geruchtmakende resultaat uit de koker van De Hond, dat overigens niet helemaal strookt met de uitkomsten van andere opiniepeilers en dat zoals gebruikelijk nogal kritiekloos door de media wordt gepresenteerd, moet van kanttekeningen worden voorzien.
Om te beginnen: het zijn maar peilingen – het is al vaak gezegd maar even vaak weer snel vergeten. En belangrijker: het zijn peilingen op basis waarvan strikt genomen helemaal geen wetenschappelijk verantwoorde uitspraken over het Nederlandse electoraat kunnen worden gedaan. De stap van steekproef naar populatie, van Peil.nl naar ‘de’ Nederlandse kiezers, is een wilde, onverantwoorde sprong. De claim van representativiteit, die De Hond in de verantwoording van zijn peilmethode maakt, is eerder een staaltje bluf dan een positie die wetenschappelijk gestut is.
De kern van het probleem zit in de selectie van de deelnemers in het panel van De Hond. Het betreft een probleem dat inherent is aan peilingen die gebaseerd zijn op zelfselectie van deelnemers. En zo goed als onoplosbaar. Het feit dat De Hond, zoals veel anderen, gebruikmaakt van internet om zijn vragen voor te leggen en antwoorden te vergaren, is als zodanig niet relevant. Waar het eerst en vooral misgaat met Peil.nl, en in beginsel met alle peilers die op deze wijze hun respondenten verzamelen, is dat de groep deelnemers aan de peiling niet het resultaat is van een willekeurige (aselecte) selectie van Nederlandse kiesgerechtigden.
Dat zou eigenlijk moeten, weet ook De Hond. In de uitleg van zijn methode geeft hij aan dat een peiling op basis waarvan men wil generaliseren aan de volgende eis dient te voldoen: „De essentie van het trekken van een dergelijke steekproef is dat ‘alle Nederlanders een gelijke kans hebben om in de steekproef terecht te komen’.” Inderdaad, bij een kanssteekproef is tevoren bekend hoe groot de selectiekans van iedereen is. Bij zelfselectie is dat onmogelijk.
De uitleg gaat verder. Het trekken van een dergelijke aselecte steekproef is erg moeilijk, luidt de verzuchting, en is bij alle vormen van peilen een bron van zorg en hoofdbrekens, wat de vertaling van steekproef naar populatie of electoraat ook compliceert. Dat klopt helemaal. Maar dat houdt natuurlijk nog niet in dat het basisprincipe van een aselecte werving van respondenten overboord kan.
Want dat is precies wat gebeurt in de ‘andere methode’ die De Hond als de kern van zijn Peil.nl beschrijft. Omdat het moeilijk is om het te doen volgens de strikte regels – die als voordeel hebben dat gebruik kan worden gemaakt van de kennis van de waarschijnlijkheidsleer – moet het maar op een manier waarvoor de regels niet meer gelden. Met het badwater wordt het kind weggegooid.
Zeker, De Hond doet vervolgens wat hij kan om de mensen die zich vrijwillig melden in zijn internetpanel alsnog naar zijn hand te zetten. Hij probeert zijn panel op een niet al te doorzichtige wijze representatief te maken en maakt subgroepen van zijn totale bestand van deelnemers. Dat is niet per se onjuist of onverantwoord. Maar met al zijn in- en kunstgrepen kan De Hond de weeffout die onvermijdelijk bestaat, nooit werkelijk corrigeren. De fraaie schillen kunnen de bedorven kern niet compenseren.
De deelnemers aan zijn onderzoek – vaste leveranciers van meningen met alle extra problemen van dien – kunnen niet worden gezien als een groep kiesgerechtigden op basis van wie verantwoorde uitspraken over de Nederlanders en het electoraat worden gedaan. Dat is jammer, maar het is niet anders. De Hond mag van week op week melden wat de deelnemers van zijn panel denken en vinden, maar trekt een veel te grote broek aan als hij meent daarmee de opvattingen van alle Nederlanders te verwoorden.
In 1937 ging het Amerikaanse weekblad Literary Digest failliet. Het ging al tijden minder met het blad, maar de genadeklap was uitgedeeld in 1936, toen op basis van een steekproef van dik 2 miljoen burgers de verkeerde voorspelling werd gedaan over de nieuwe Amerikaanse president. En dat na een indrukwekkende serie van correcte voorspellingen. Die correcte voorspellingen waren meer geluk dan wijsheid; de misser was verklaarbaar op wetenschappelijke gronden, zoals onder anderen George Gallup liet zien. De steekproef van Literary Digest deugde niet, en er waren problemen met de selectiviteit in respons.
We zijn ruim zeventig jaar verder, en ten aanzien van deze problematiek terug bij af. De steekproef van Peil.nl deugt niet en er zijn problemen met respons en non-respons. Peil.nl hoeft wat mij betreft niet failliet, maar ik droom van een nieuwe George Gallup.
Prof.dr. Joop van Holsteyn is universitair hoofddocent en bijzonder hoogleraar Kiezersonderzoek aan de Universiteit Leiden.
Bron: nrc.nl