Hoe vaak wordt u bedrogen door percentages?

Wanneer mag u een marktonderzoek geloven

Hoe vaak heeft u reeds een SMS gestuurd bij een televoting? Hoe vaak heeft u al deelgenomen aan een onderzoek via het internet? En hoe vaak bent u al ingegaan op de uitnodiging van mensen die u op straat enkele vragen willen stellen?

Hoogstwaarschijnlijk zal het overgrote deel van u ‘nog nooit’ of ‘zelden’ op deze vragen antwoorden. Toch ‘tellen’ we allemaal mee in dit soort onderzoek. De besluiten die men uit dit soort ondervragingen trekt, hebben ook betrekking op u en mij. Er duiken tegenwoordig steeds meer ‘polls’ en ‘votings’ op, die snel cijfers leveren over de mening van de Vlaming. Maar doorgaans zijn ze vooral onbetrouwbaar. Waarom?

Vlaanderen keek een tijdje geleden massaal naar ‘Idool 2003’. Als communicatiespecialist willen we niet beweren dat we iets kennen van muziek. Maar iemand met wat ervaring in marktonderzoek had de kandidaten uitdrukkelijk en gegrond kunnen adviseren om hun imago en muziek niet te richten op de gemiddelde VTM-kijker, maar op de Vlaamse jeugd.

Waarom werd uiteindelijk Peter, een hardrocker pur sang, die op het eerste zicht absoluut niet binnen het VTM-profiel past, toch nipt verkozen boven Natalia, het meisje met de nachtegalenstem? We kunnen het uiteraard niet bewijzen, maar de kans is groot dat een echt representatief marktonderzoek zou aantonen dat een meerderheid van de Vlamingen voor de toegankelijkere aanpak van Natalia zou kiezen. Alleen, televotings geven nooit de mening van de gemiddelde Vlaming.

Ongeveer 80% van alle stemmen gebeurde via SMS. Hoewel een groot deel van de bevolking eerder de ‘zachtere’ muziek van Natalia zal appreciëren, is het net deze groep mensen die niet gauw de stap zet om te stemmen. Hun bereidheid tot bellen, laat staan het sturen van een SMS, is veel lager dan bij de groep die Peter verkoos.

Jongeren groeiden op met GSM en SMS en voor hen is het sturen van een SMS als het ware een hobby. Heel wat ouderen kunnen, als ze al een GSM hebben, gewoon niet SMS-en, zelfs al zouden ze dat willen.

Kranten ... de nieuwe marktonderzoeksbureaus?

Het bovenstaande voorbeeld is interessant omdat het aangeeft hoe een communicatiespecialist muzikanten zou kunnen adviseren zonder zelf ook maar iets van muziek te kennen. Maar op zich is er niks mis met het opzet. Iedereen weet op voorhand hoe de wedstrijd in elkaar zit en hoe er kan worden gekozen.

Het probleem is echter dat heel wat andere onderzoeken op dezelfde manier worden uitgevoerd en wél stellen de mening van de gemiddelde Vlaming te kennen.

Zo stoot je tegenwoordig met de regelmaat van de klok op onderzoeken die door kranten of tijdschriften bij hun lezers worden uitgevoerd. ‘Bij hun lezers’ is eigenlijk al niet juist. Veelal gaat het om een enquête die wordt opgezet via de website. Men zou dus moeten zeggen: ‘bij de bezoekers van hun website’.

Aan de resultaten die uit dergelijke testen komen durft men al eens verregaande conclusies te verbinden. Het punt is alleen, de cijfers zijn niet betrouwbaar. Niet alleen de pers bezondigt zich aan dit soort fouten. Ze zijn alleen een herkenbaar voorbeeld. Overal, zelfs in sommige academische onderzoeken, komt men tegenwoordig onderzoeksresultaten tegen, die zondigen tegen de representativiteit.

Snelheid en betrouwbaarheid

Internet is niet toevallig erg in trek als onderzoeksmethode. Men kan relatief goedkoop de mening vragen van flink wat mensen. Maar wat is er dan zo fout aan dit soort bevragingen?

De methode die vaak wordt gebruikt bij dit soort onderzoek, nl. via een internetsite moet men doorklikken om deel te nemen, zorgt omwille van twee redenen voor een niet-representatief staal van de bevolking.

Ten eerste kunnen enkel mensen met een computer én toegang tot internet deelnemen aan het onderzoek. Dat maakt, ook vandaag nog, de groep van mensen die de vragen potentieel kunnen beantwoorden al een stuk kleiner.

Maar tegelijkertijd maakt deze onderzoeksmethode nog een tweede, minstens even ingrijpende selectie: alleen die mensen zullen in de steekproef zitten, die niet alleen bereid zijn om op de gestelde vragen te antwoorden, maar daar ook nog eens zelf het initiatief toe nemen. En als u even terugdenkt aan de antwoorden die u formuleerde op de vragen waarmee we dit artikel begonnen, dan weet u inmiddels hoe vaak uw mening, en die van al de medemensen met een gelijkaardig profiel, in dit soort onderzoeken zal doorklinken.

Straattesten

Een onderzoek is nooit helemaal representatief. Een telefonisch onderzoek, bijvoorbeeld, houdt geen rekening met die mensen die niet over een telefoon beschikken. Tot voor kort was dat aantal verwaarloosbaar klein. Tegenwoordig beschikken steeds meer mensen alleen nog maar over een (veelal anoniem) GSM-nummer. Stilaan zullen marktonderzoeksbureaus naar nieuwe onderzoeksmethoden moeten uitkijken.

Straattesten, dat zijn persoonlijke interviews met mensen die men voor een korte ondervraging staande houdt, zijn een alternatief. Die werden voorheen ook al gebruikt, vooral voor onderzoeken waarbij men de ondervraagde dingen wilde tonen. Ook studenten gebruiken deze goedkope maar arbeidsintensieve methode vaak om hun thesissen te staven. Je treft ze nogal eens aan met een vragenlijst in een station. En alleen al door de keuze van de plaats zondigen ze opnieuw tegen de regel van de representativiteit. Op het perron vindt men slechts specifieke subgroepen van de bevolking. Maar het zal duidelijk zijn dat zij geen representatief staal van de Vlaamse bevolking vormen. Of mensen zonder wagen. Hoeveel zijn er dat nog? Of mensen die in de hoofdstad werken en de file willen vermijden. Maar hierin zijn de bedienden dan weer oververtegenwoordigd.

5.000 spontane antwoorden kunnen dus minder representatief zijn dan 150 die volgens een juiste methode geselecteerd worden. Representatief zijn betekent dat de samenstelling van de groep die geantwoord heeft overeenkomt met de groep die men onderzoekt.

Het aantal dat men nodig heeft om een steekproef representatief te noemen is niet absoluut. Voor kiesonderzoek in de Verenigde Staten is men tevreden met 1.000 antwoorden, net zoals bij ons. Je zou dan denken dat de resultaten voor de VS minder juist zijn, maar niets is minder waar. Omdat zij maar twee belangrijke partijen hebben, zijn hun resultaten net juister, terwijl men bij ons pakweg 10 partijen probeert te peilen.

Ook de verwachte antwoorden kunnen bepalend zijn voor het bepalen van de steekproefgrootte. Zo is de foutenmarge van een antwoord met uitkomst ‘20 % ja’ en ‘80 % neen’ veel lager dan wanneer de uitkomst ‘48 % ja’ en ‘52 %’ neen is. Hoe krapper een verschil, hoe meer ondervraagden je moet hebben om juist te zitten. Des te groter het verschil, des te minder ondervraagden volstaan.

Samengevat wordt het aantal ondervragingen in een betrouwbaar onderzoek bepaald door in hoeveel subgroepen men de doelgroep wil opdelen en hoe uitgesproken de resultaten zijn.

Voor één groep met een duidelijk ja/neen-antwoord van bv. 30/70 % volstaan 200 ondervragingen. Als je meer in de diepte wil werken, moet je al vlug op 1.000 ondervraagden rekenen. Om per provincie betrouwbare resultaten te krijgen, heb je hiervan een veelvoud nodig.

De betrouwbaarheid van cijfers

Cijfers zijn abstract. Ze tonen het resultaat, maar nooit de methode. Het is goed om even na te gaan hoe men aan de voorgeschotelde cijfers komt. Het heeft pas zin om een verklaring te zoeken voor cijfers die iets kunnen betekenen. In vele gevallen, en jammer genoeg steeds meer, verklaren ze alleen maar de fouten in het onderzoek. U bekijkt de volgende ‘poll’ met opzienbarende resultaten gegarandeerd anders. Of helemaal niet?