Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 22 00

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Effectief evalueren

door drs. B. Bulder*

De praktijk van het beleidsonderzoek bestaat naast het inventariseren en monitoren van beleid vooral ook uit het evalueren van beleid. Hoewel een beleidsevaluatie veel verschillende vormen kan aannemen, zijn er toch enkele algemene principes die men kan toepassen om evaluaties te verbeteren. Dit artikel geeft een zevental handreikingen voor effectief evalueren.

Reconstrueren komt vóór evalueren
Een onderzoeker krijgt de opdracht het beleid te evalueren. Zijn eerste vraag is: Wat is het beleid? Het is verbazingwekkend hoe vaak beleidsmakers er zondermeer van uitgaan dat het antwoord op die vraag duidelijk is. Voor sommigen is het beleid een pakket wetten en regels, zwart op wit. Voor anderen is het een historisch overzicht van de inspanningen van hun organisatie. In bijna alle gevallen ontbreekt een systematisch en volledig overzicht van beleidsdoelen, beleidsinstrumenten en de argumentatie waarom het beleid tot het bereiken van de gewenste doelen zal leiden.
Het is dan nodig eerst een reconstructie van het beleid op te stellen. Door studie van nota's en notulen en gesprekken met verschillende direct betrokkenen verzamelt de evaluator de benodigde informatie. Deze wordt dan bij voorkeur gepresenteerd in een schema dat de veronderstelde relaties tussen doelen en instrumenten toont. Bijzondere aandacht gaat uit naar de dynamiek in het beleid: zijn doelen meer of minder belangrijk geworden, is sprake van doelverschuiving en zijn er verschillende betrokkenen met verschillende doelen en prioriteiten?

Zoek houvast bij het evaluatiekader
Bij evaluatiekaders doen zich twee valkuilen voor. De eerste is dat een machtig evaluatiekader wordt uitgebouwd, dat vervolgens niet kan worden waargemaakt bij de dataverzameling. De vlieger gaat niet op omdat hij te zwaar is. De tweede valkuil is dat het evaluatiekader te weinig is uitgewerkt zodat de gegevensverzameling stuurloos verloopt. De vlieger heeft geen staart en is niet in balans.
Bij het opstellen van het evaluatiekader bewijst de reconstructie zijn nut. Het evaluatiekader specificeert op welke thema's het onderzoek zich gaat richten en hoe op basis van de uitkomsten het oordeel wordt opgemaakt. Tot het evaluatiekader kunnen zowel operationele omschrijvingen van de implementatie van beleid behoren ("Er is een uitvoeringsplan opgesteld") als concretiseringen van de doelen van het beleid ("Na twee jaar maakt minimaal de helft van de doelgroep gebruik van de voorziening").

Vergelijken is de basis, maar er is meer…
Iedere evaluator zoekt de vergelijking. Voor en na, hier en daar. Vergelijkingen worden vaak beschouwd als de ultieme toets. In de praktijk valt het vaak tegen. Er zijn 'storende' variabelen, gewijzigde omstandigheden of de meting van de indicatoren is net iets anders. De werkelijkheid van een beleidsmaker is nu eenmaal geen laboratorium waarin alle omstandigheden zijn te controleren. Het 'design volgens het boekje' levert dan verassend weinig op. Boekje weggooien? Niet nodig. Vergelijkend onderzoek is een prima basis maar meestal niet het einde. Het moet worden gevolgd door onderzoek waarbij naar aanleiding van de vergelijking van gegevens wordt doorgevraagd. Waar is wel verschil, waar niet? Is daarvoor een verklaring? Vaak is die vraag niet te beantwoorden met de beschikbare gegevens zodat een aanvullende slag in het onderzoek nodig is.

Evaluatie heeft een blik op het mechanisme nodig
Onderzoekers maken gebruik van reeds beschikbare statistieken en verzamelen ook zelf informatie over indicatoren. Die indicatoren zijn vaak van allerlei invloeden afhankelijk. Niet alleen van het beleid dat wordt geëvalueerd. De kans is groot dat op basis van deze statistieken de concrete werking van het beleid onvoldoende zichtbaar wordt. Het onderzoek blijft dan teveel aan de oppervlakte en geeft geen blik onder de motorkap. Voor een goed evaluatie is het nodig te laten zien wat het concrete gevolg is van de maatregel voor het gedrag van uitvoerders, burgers en bedrijven. Hiervoor is het van belang zo direct mogelijk te registreren welke veranderingen er eventueel zijn opgetreden, om vervolgens ook van binnenuit begrijpen waarom de maatregel wel of niet effect heeft. Om dit te realiseren zijn in het design onderdelen nodig die de onderzoeker direct of indirect brengen op de plek waar het gebeurt of zou moeten gebeuren.
Het onderzoeksdesign moet de blik verruimen en niet beperken
Iedere onderzoeker is gehouden aan een plan. Hij moet dus keuzen maken. Bepaalde gegevens en invalshoeken blijven ongebruikt. Dit moet echter niet zover gaan dat onderzoekers zichzelf een blikvernauwing opleggen. Zij doen dit als zij menen dat alle interessante variabelen vooraf bedacht kunnen worden en in een design verwerkt. Waarna dat design zonder rechts of links te kijken wordt gevolgd. Zo sluiten zij hun ogen voor onbedoelde effecten en voor de outcomes van beleid in bredere zin. In een ideaal onderzoek moet daarom ook ergens een 'groothoekcamera' zijn opgesteld die over een breed spectrum aanvullende waarnemingen kan doen. Zo'n 'camera' kan natuurlijk ook bestaan uit een groter aantal waarnemers, die samen het spectrum bestrijken. In beleidsonderzoek kan bijvoorbeeld een goed gekozen panel van externe personen zo'n camera vormen. Maar er zijn ook andere mogelijkheden om de vensters open te houden.

Kwalitatief en kwantitatief versterken elkaar
Het onderscheid tussen kwalitatief en kwantitatief was voorheen inzet van een methodestrijd op leven en dood. Laten we de slachtoffers aan beide zijden herdenken door te streven naar een combinatie van beide. Daarbij is het goed zich te realiseren dat kwantitatief of kwalitatief onderzoek op zichzelf niet zo verschillend zijn, in zoverre dat het altijd gaat om zorgvuldig en systematisch registreren. Het verschil zit eerder in het gebruik van de gegevens als argument. We kunnen argumenteren op basis van tellen en argumenteren op basis van vertellen. Wie beide kan, kan meer.

Evalueren is om te leren
Benutting van onderzoek vraagt dat de beleidsmakers de rol van leerling op zich willen nemen en op dat moment de onderzoeker de rol van leermeester gunnen. Wie alleen maar de baas kan spelen en ook wil dat onderzoekers onderdanig zijn in de manier waarop zij hun werk uitvoeren en presenteren zal weinig van hun werk opsteken. Onderzoekers moeten dit spel ook willen en kunnen spelen. Als zij te bescheiden zijn of te arrogant frustreren zij van hun kant het spel.
Dit spel krijgt geen kans in een organisatie die beheerst wordt door 'powerplay'. In zo'n organisatie is men bang voor elkaar en worden onderzoeksgegevens als een bedreiging gezien of als een stok om elkaar te slaan. Hiertegenover staat het model van een lerende organisatie waarin men in staat is op zijn tijd een lerende houding aan te nemen.

Dit is een licht bewerkte versie van een artikel dat eerder in Basis, 2000, nr. 4 verscheen.

*Bert Bulder was als projectleider werkzaam bij Research voor Beleid, en is momenteel werkzaam bij de Inspectie van het onderwijs