Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 22 00

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Internet dan maar?

Is deze steekproef wel representatief?

Door drs. R. Vogels*

Conclusies trekken en uitspraken doen over de totale populatie op basis van enquêteresultaten kan alleen als de gerealiseerde steekproef representatief is voor de totale populatie. Dit is een open deur. Toch kost het steeds meer moeite representatieve steekproeven te realiseren. Gelukkig heeft bijna heel Nederland internet. Of is deze oplossing toch niet zo simpel?

Zeker wanneer onderzoeksresultaten niet welgevallig zijn, wordt al snel gevraagd of het onderzoek wel representatief is. Daarbij wordt echter vaak ten onrechte verondersteld dat representatief wil zeggen dat het om een omvangrijke steekproef gaat. Feitelijk wil representatief zeggen dat de samenstelling van de steekproef op relevante kenmerken een goede weergave (representant) is van de populatie. Gaat het over onderzoek onder burgers dan zijn geslacht, leeftijd en opleiding doorgaans relevante kenmerken; bij onderzoek onder bedrijven en instellingen vervullen grootte en sector meestal deze rol.

Steekproef trekken
Nog niet eens zo heel lang geleden was het vrij eenvoudig een goede steekproef te trekken. Voor telefonisch onderzoek was de telefoongids zeer bruikbaar en voor schriftelijk en face-to-face onderzoek diende het PTT Afgiftepunten Bestand. Beide bestanden hadden een zeer hoge dekking. Maar vooral de laatste jaren is er veel veranderd. Het aantal huishoudens met een geheim nummer groeit snel, vooral jongeren en allochtonen gaan steeds meer over van vast naar mobiel en inmiddels is ook nog eens 25% van de huishoudens niet meer aangesloten op het vaste net van KPN. Zij telefoneren digitaal elders en verdwijnen daardoor ook uit de telefoongids. Per saldo is van een op de drie huishoudens geen vast telefoonnummer achterhaalbaar. Tot voor kort bood random digit dialing (rdd) enige soelaas. Hierbij genereert de computer zelf telefoonummers. Voordeel hiervan is dat geheime nummers worden benaderd; nadeel is dat veel niet-bestaande nummers of nummers van bedrijven worden gebeld. Sinds de invoering van het Infofilter is ook deze methode zonder schending van de codes van marktonderzoeksbureaus niet meer toepasbaar. Via het Infofilter kunnen consumenten zowel marktonderzoek als telemarketing en direct-mailacties blokkeren. Marktonderzoeksbureaus hebben afgesproken de registraties bij Infofilter te respecteren.

Daar komt bij dat het aantal weigeraars nog steeds toeneemt, dit is niet in het minst te wijten aan de activiteiten van Telemarketing bureaus. Het is de burger niet kwalijk te nemen dat hij het onderscheid tussen telemarketing en onderzoek niet meteen kan aanbrengen. Telemarketing wordt meestal als onderzoek aan degenen aan de andere kant van de telefoon verkocht. Het resultaat is dat consumenten die in de avonduren worden gebeld, dit soort telefonisch contact categorisch afwijst. Een goede steekproef voor telefonische onderzoek trekken en realiseren wordt dus steeds moeilijker.

Internet dan maar?
Deze ontwikkelingen die telefonische enquêteren problematisch maken, hebben veel onderzoeksbureaus proberen te ondervangen door steeds vaker internet te gebruiken. Gezien de penetratiegraad van internet in Nederland bij zowel burgers als bedrijven, is dat goed te verklaren: 80% van de huishoudens heeft een internetaansluiting. En hiervan heeft 82% een breedbandaansluiting. Van de bedrijven is 81% aangesloten waarvan 96% breedband. De laatste jaren zijn er daarom internetpanels opgezet die voor onderzoeksdoeleinden zijn te gebruiken. Een recente inventarisatie van de MOA, de MarktOnderzoek Associatie, leert dat er op dit moment circa 1,7 mln. panelleden zijn bij de verschillende panels in Nederland. Bijna de helft van hen doet mee aan meer dan één panel. De deelnemers aan panels laten zich als volgt karakteriseren:
- vaak 'heavy user' als het gaat om internetgebruik
- ondervertegenwoordiging van niet-westerse allochtonen
- weinig CDA stemmers
- relatief veel SP stemmers
- weinig kerkgangers
De dekking van de sociaal-economische klasse en kenmerken als leeftijd, sekse en opleiding is bij de panels goed op orde. Dat is ook niet zo vreemd want bij het trekken van steekproeven wordt daarop gestuurd. De niet-westerse allochtonen ontbreken echter bijna volledig. In de paneldata blijkt slechts 2% tot deze groep te behoren, terwijl hun aandeel in de populatie inmiddels de 10% is gepasseerd.

De MOA heeft in 2006 het een onderzoek laten uitvoeren waarbij 19 panels met elkaar zijn vergeleken. De resultaten van het onderzoek zijn vaak niet geruststellend als het gaat om de doelstelling van onderzoek: representativiteit en betrouwbaarheid. De respons toonde aan dat veel panelleden zich hebben ontwikkeld tot professionele invullers, calculerende burgers die een zakcentje bijverdienen aan het (vooral snel) invullen van vragenlijsten. Op jaarbasis zijn er in Nederland 25 miljoen vragenlijsten ingevuld door de leden van de 19 panels die bij het onderzoek zijn betrokken.

Open vragen
Het is maar zeer de vraag of je als onderzoeker of opdrachtgever blij moet zijn met zulke snelle invullers. Hebben zij wel genoeg tijd genomen voor het goed lezen en vervolgens correct beantwoorden van de vragen? Nemen zij wel de moeite om de open vragen zorgvuldig te beantwoorden? Vragen, waarop de antwoorden niet moeilijk zijn te raden.
De uitkomsten tussen de onderzochte panels liepen soms sterk uiteen. Zo werden er verschillen van ca. 20% of meer waargenomen bij relatief onschuldige vragen over betaald werk, naambekendheid van biermerken, het gebruik van het openbaar vervoer en het surfen op internet.

Bron: NOPVO, 2006

Naast de verschillen tussen de panels bestaat er nog een ander, zeker niet onbelangrijk fenomeen, de zogeheten domeinspecifieke non-respons bij internetonderzoek: men doet niet mee, omdat men niet in het onderzoek is geïnteresseerd. Zo is in sommige panels bijvoorbeeld de interesse van de deelnemers in politiek bij 34% groot, terwijl uit andere representatieve bronnen bekend is dat slechts ongeveer 12% sterk geïnteresseerd is in politiek. Bij de uitkomsten van via internet uitgevoerd opinieonderzoek, waaronder onderzoek naar de politieke voorkeur, moeten dan ook de nodige vraagtekens worden gezet. Een panel met open inschrijving kan bijvoorbeeld mensen aantrekken die grote interesse hebben in een bepaald onderwerp (zoals politiek). Anderzijds is er een effect dat mensen die vaak over een zelfde soort onderwerp worden ondervraagd juist daardoor meer interesse ontwikkelen in dat onderwerp. In geen van beide gevallen is het panel dan nog representatief voor de totale populatie.

Spam en brouwsers
Net als de reguliere brievenbus is ook de e-mailbox bij veel mensen snel aan het vollopen. Spam maakte in 2006 86% uit van alle e-mailverkeer. Berichten die mensen ontvangen van onbekende afzenders worden steeds vaker direct in de prullenbak gegooid.
Daarnaast zijn er veel technische problemen ontstaan door het opvoeren van de beveiliging in browsers en het besturingssysteem, vooral bij de microsoftgebruikers. Uitnodigingen in HTML-opmaak komen lang niet overal 'binnen'. Zaken die in de ene browser prima werken zorgen in de andere browser voor een niet functionerende applicatie. Het tonen van plaatjes, laten horen van geluiden of afspelen van bewegende beelden, het kan allemaal, maar vergt zeer veel testen met alle mogelijke browsers en ook nog eens de verschillende versienummers van browsers. En dan is er nog de beeldschermresolutie. Veel mensen werken nog met een relatief lage resolutie waardoor de opmaak van de enquête niet goed in beeld verschijnt. Verder is bij onderzoek onder bedrijven of instellingen de firewall in een aantal gevallen spelbreker.

Internet-respons
De respons die een onderzoek gaat opleveren is sterk afhankelijk van twee zaken: de interesse in het onderwerp en de betrokkenheid bij de organisatie die om medewerking vraagt. Als mensen een onderwerp aanspreekt en zij hebben een sterke relatie met de organisatie die de uitnodiging verstuurt, kan de respons gemakkelijk boven de 40% uitkomen en oplopen tot 80%. Spreekt het onderwerp niet aan en is er geen binding met de vragensteller, dan is een respons van 5% of nog lager geen uitzondering.

De respons wordt daarnaast beïnvloed door mogelijk te verdienen prijzen. In 2003 bleek het bijvoorbeeld veel uit te maken als er een kans op het winnen van een digitale camera in het vooruitzicht werd gesteld. Dat zorgde voor circa 10%-punten hoger respons. Andere gadgets (I-pod, Tom Tom) of aantrekkelijke prijzen (reisjes, verwenweekend) hebben een zelfde effect. Nog beter werkt het wanneer een vaste vergoeding voor deelname in het vooruitzicht wordt gesteld. Als er geld is te verdienen, vullen meer mensen de enquête in.

Een hoge respons is altijd prettig voor een onderzoeker. Als de steekproef goed is getrokken zijn de resultaten een goede schatter voor de populatie. Non-response hoeft echter niet altijd erg te zijn. Het is bijvoorbeeld goed mogelijk de resultaten te corrigeren als de respons in een bepaalde groep tegenvalt. Correcties zijn echter niet mogelijk als factoren die samenhangen met het onderwerp de (non-)respons bepalen.

Probleemoplossing
De oplossing begint al bij het besef dat de in dit artikel beschreven problemen kunnen optreden. Het 'blind' vertrouwen in een goede afloop en zonder meer uitgaan van representativiteit en betrouwbaarheid van de resultaten is niet verstandig. Hoe slecht het onderzoek, de vragenlijst, de steekproef ook zijn, antwoorden komen er altijd wel. Onderzoek is er niet om antwoorden te verzamelen, het gaat erom goede antwoorden te verzamelen. Kritisch denkvermogen en enig gevoel voor relativiteit zijn op zijn plaats.

De onderzoeker zal in de toekomst steeds meer gebruik moeten gaan maken van bestaande gegevens. Door hetzelfde internet zijn inmiddels al vele bronnen ontsloten. De opdrachtgevers zelf hebben vaak veel gegevens in informatiesystemen zitten. Het loont de moeite deze gegevens te gebruiken. Het stellen van veel onnodige vragen kan met de informatie uit deze systemen worden voorkomen. De onderzoeksresultaten kunnen op basis van beschikbare gegevens ook in een breder perspectief worden geplaatst. Al is het maar om de resultaten goed te kunnen herwegen.
Voor de onderzoeker ligt hier de uitdaging om met de inzet van een juiste mix van desk research, secundaire analyse en primaire dataverzameling tot een onderzoeksopzet te komen die methodologisch verantwoord is. Alleen daarmee krijgt de opdrachtgever een representatief, valide en robuust resultaat.

Bronnen
www.infofilter.nl
CBS, persbericht pb06-101 november 2006

*René Vogels is accountmanager bij Stratus Marktonderzoek