Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 22 00

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Beleidsevaluatie en 'evidence bases policy'

What's in a name?
Door drs. T.K. Grimmius en drs. A. Oostdijk*

Vanwege het uitgebreide eigen vocabulaire en een - soms te vuur en te zwaard gevoerd - dispuut, is het jargon van het evaluatieonderzoek niet voor iedereen altijd even toegankelijk. Dit artikel beoogt de lezer vertrouwd te maken met de belangrijkste vormen van evaluatieonderzoek, de gangbare begrippen en de kern van het methodologische debat.

Evaluatieonderzoek: waar hebben we het over?
Het is van belang een aantal typen evaluatieonderzoek te onderscheiden. Een eerste onderscheid is te maken tussen ex ante en ex post evaluatie.

Ex ante evaluatie is onderzoek naar de verwachte kosten en baten van mogelijke beleidsalternatieven. Veel onderzoek dat als 'ex ante' wordt gepresenteerd voldoet niet aan deze omschrijving. Het gaat vaak om probleemverkennend, inventariserend en diagnostisch onderzoek, gericht op het in kaart brengen van een vraagstuk waarop (mogelijk) beleid gaat worden gevoerd. Ex ante onderzoek veronderstelt de aanwezigheid van tenminste twee beleidsalternatieven, waaronder de handhaving van het bestaande beleid. Op systematische wijze, bijvoorbeeld door multi-criteria analyse of scenariostudies, worden de verwachte kosten en effecten van deze alternatieven met elkaar vergeleken teneinde tot een gefundeerde keuze voor één van de alternatieven te komen. Een goed voorbeeld van ex ante onderzoek is een milieueffectrapportage.

Ex post evaluatie heeft betrekking op in uitvoering zijnd dan wel uitgevoerd beleid. In het eerste geval wordt ook wel gesproken van tussentijdse evaluatie. Het etiket 'ex post evaluatie' wordt vaak gebruikt als synoniem voor (beleids)effectevaluatie. Dit, omdat het evalueren van beleidseffecten, dat wil zeggen de (maatschappelijke) gevolgen van het beleid, de methodologisch meest bediscussieerde vorm is van ex post evaluatie. Aan de ene kant immers, is de mate waarin de beoogde effecten worden bereikt de uiteindelijke lakmoesproef van het beleid. Aan de andere kant blijkt juist het meten van deze effecten in een multi-causale en dynamische beleidsomgeving alles behalve een sinecure.

Overigens kan beleid naast de beoogde effecten resulteren in (gewenste dan wel ongewenste) neveneffecten. Verder kunnen intermediaire en uiteindelijke of finale effecten worden onderscheiden. De Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid omschrijft intermediaire effecten als tussengelegen, stuurbare effecten die een bijdrage leveren aan de realisatie van de finale effecten. Finale effecten worden ook wel aangeduid met het begrip outcome. De beoogde outcome van verkeersveiligheidsbeleid bijvoorbeeld, is een veiliger verkeer, tot uiting komend in een dalend aantal verkeersslachtoffers. Naast voertuigtechnische en verkeersinfrastructurele verbeteringen wordt een veiliger verkeersgedrag gezien als belangrijk intermediair effect van dit beleid. Dit gedrag kan beleidsmatig worden bevorderd door bijvoorbeeld voorlichting, (strengere) handhaving van de verkeerswetgeving en een (strenger) sanctiebeleid.

Ex post evaluatie kan, al dan niet in combinatie met effectonderzoek, ook betrekking hebben op de beleidsuitvoering, beleidsprestaties (ook wel 'beleidsresultaten' en '-output' genoemd) en de kosten(effectiviteit) van beleid. Beleidsuitvoering en beleidsprestaties dienen dienstig te zijn aan het bereiken van de effecten, of wel het realiseren van de maatschappelijke doelstellingen van het beleid. In het verlengde van het hierboven gegeven voorbeeld van het verkeersveiligheidsbeleid is te denken aan betere samenwerking tussen betrokken diensten (uitvoering), resulterend in intensievere controles en surveillances, vergroting van de pakkans en het uitdelen van meer en zwaardere straffen aan overtreders (prestaties).

Evaluatie van de beleidsuitvoering stelt de vraag of de uitvoering loopt zoals voorzien en of het beleid geacht kan worden dan wel blijk geeft de voor het bereiken van de beoogde effecten benodigde prestaties te leveren. Bij het evalueren van de beleidsprestaties is de vraag aan de orde of het beleid in zowel kwantitatieve als kwalitatieve zin daadwerkelijk de voor het realiseren van de effecten nodig geachte prestaties levert. Kosteneffectiviteits-, efficiëntie- of doelmatigheidsonderzoek relateert de effecten van het beleid aan de kosten om te bepalen of de middelen efficiënt zijn besteed.

Beleidstheorie: leidraad en toetssteen
Uit het voorafgaande weerklinkt een ketenredenering: wat is het probleem - waardoor wordt dit veroorzaakt - wat kan/moet het beleid doen (presteren) om deze oorzaken te verminderen of weg te nemen - op welke wijze moet het beleid worden uitgevoerd en welke middelen (input) zijn nodig om tot de gewenste beleidsprestaties te komen?

De antwoorden op deze vragen vormen gezamenlijk de beleidstheorie: de veronderstelde relatie tussen beleidsprobleem, beleidsinzet en uiteindelijk te bereiken doelstellingen. Deze theorie is daarmee niet slechts de leidraad voor het beleid maar tegelijkertijd een belangrijke toetssteen bij de evaluatie daarvan. Uiteraard kan de scope van een evaluatie verschillen. Zoals we hieronder beargumenteren beperken bruikbare evaluaties zich echter in het algemeen niet tot het meten van (direct waarneembare) effecten, maar hebben ze ook aandacht voor de beleidsuitvoering: de verbindende schakel tussen beleidsinput en -doelstellingen. Op deze wijze draagt de evaluatie niet alleen bij aan optimalisatie van de uitvoering, maar wordt ook het zicht op de effecten gemaximaliseerd.

Tegen deze achtergrond signaleert het artikel 'Paddestoelen en valkuilen' enkele fundamentele valkuilen. Doorgaans is de beleidstheorie niet of nauwelijks geëxpliciteerd of zoals het artikel het verwoordt 'onvoldoende hard doordacht'. Vaak zijn geen heldere en haalbare doelstellingen geformuleerd. Dat dit problemen oplevert voor de evaluatie is evident. Dit wordt nog eens versterkt doordat ook de evaluatie dikwijls niet goed is doordacht. Evaluatie van beleid zonder expliciete beleidstheorie dient dan ook te beginnen met de reconstructie daarvan. Deze reconstructie is de basis voor het evaluatiekader dat het domein en de richting van de evaluatie bepaalt. Een voorbeeld van een dergelijke reconstructie biedt het artikel over lokaal jeugdbeleid.
Reconstructie van de beleidstheorie als onderdeel van een evaluatieonderzoek is in feite een reparatieslag voor onvoldoende expliciet doordacht beleid. Het vooraf goed doordenken van het beleid en het formuleren van haalbare doelstellingen komt niet alleen het realiteitsgehalte en de uitvoerbaarheid van het beleid ten goede, maar ook de evalueerbaarheid ervan.

(Quasi) experimentele evaluatie
De vraag hoe beleidseffecten te meten domineert de discussie binnen en over het beleidsevaluatieonderzoek. De klassieke methode van het kwantitatief georiënteerde (quasi) experiment verdeelt de doelgroep van het beleid (in principe aselect) over een experimentele en controlegroep, waarbij de eerste wel en de tweede niet aan het beleid wordt blootgesteld. Daar de groepen theoretisch alleen in dit opzicht van elkaar verschillen worden beleidseffecten uitgedrukt in het verschil tussen de na verloop van tijd gemeten effectvariabelen in beide groepen.
In de jaren zestig van de vorige eeuw vormde de quasi experimentele evaluatie de basis van de zogenoemde 'research driven policy'. Gezien de grote aandacht voor de constructie en het gedurende het experiment instandhouden van het model, zou met evenveel recht gesproken kunnen worden van 'model driven' evaluatie.
De recente discussie over 'evidence based policy', dat beleid wenst te baseren op door eenduidige effectmeting verkregen bewijs van de werking ervan, heeft een nieuwe impuls gegeven aan het quasi experimentele model.

Realistische evaluatie
Tegen de quasi experimentele methode is fundamentele kritiek geuit. Kritiekpunten zijn ondermeer: het in de praktijk niet kunnen voldoen aan de eisen van het design en het ontbreken van aandacht voor andere relevante factoren - waaronder de beleidsuitvoering zelf - zodat weinig inzicht wordt geboden in de vraag waarom beleid wel of niet werkt. De kritiek op het quasi experiment resulteerde ondermeer in het realistische evaluatiemodel dat niet focust op de constructie en het onderhoud van een experimentele en controlegroep, maar meer vanuit de beleidstheorie de vraag stelt onder welke omstandigheden voor wie het beleid zou kunnen werken. Deze benadering heeft een grotere aandacht voor de beleidscontext, het realiteitsgehalte van het beleid, de werkzame elementen ervan en de beleidsuitvoering, zonder overigens de vraag naar de effecten uit de weg te gaan. Sterker, de genoemde aandachtsgebieden van de realistische evaluatie dragen bij aan de vaststelling en het verklaren van de effecten.

Zoek de vejkirgeling...
Ook de realistische benadering maakt voor het bepalen van beleidseffecten gebruik van vergelijkingen in de tijd en tussen groepen. Het grote verschil met de quasi experimentele opzet is echter dat het zoeklicht van deze vergelijking niet wordt bepaald door een van te voren vaststaand model met een controle en een experimentele groep waarop idealiter zelfs het beleid zou moeten worden aangepast. Realistische evaluatie zoekt de vergelijking vanuit de beleidstheorie en -context en onderscheidt op basis hiervan zinvolle - niet vooraf modelmatig geconstrueerde - vergelijkingsgronden. Dit kan overigens leiden tot vergelijkingen die sterk doen denken aan vergelijkingen van de quasi experimentalist. In wezen wordt gezocht naar de in het artikel 'Licht in de zwarte doos' genoemde 'counterfactual': de situatie die zich zonder de maatregel zou hebben voorgedaan.

...en heb oog voor het proces!
Pikant detail is dat het zoeken naar de counterfactual in het betreffende artikel wordt gezien als een exponent van quasi experimenteel onderzoek, terwijl dat - in ieder geval volgens de in dit artikel gehanteerde strikte definitie van dat type onderzoek - niet het geval is. Immers, de onderzoeker heeft niet vooraf een controle- en experimentele groep geconstrueerd, maar heeft vanuit de specifieke kenmerken van het beleid zijn vergelijkingsgroepen benoemd. Wel sluit de onderzoeker aan bij het quasi-experimentele model door zijn opmerking dat voor het bepalen van de effecten onderzoek naar de beleidsuitvoering niet strikt noodzakelijk is. Realistische evaluatie stelt zich juist op het standpunt dat effecten pas echt kunnen worden vastgesteld wanneer ook een verklaring kan worden gegeven voor het al dan niet optreden ervan. Dit betekent dat niet alleen moet worden gekeken naar direct waarneembare effecten maar ook naar de beleidsuitvoering en de beleidscontext.

'Vonnis'
Door het gebruik van het begrip 'evidence based policy' dringt de vergelijking met de rechtspraak zich op. In de rechtszaal wordt evidence - in goed Nederlands 'bewijs' - niet slechts ontleend aan (direct) waargenomen feiten. Ten behoeve van de bewijsvoering worden ook partijen, betrokkenen, getuigen en zonodig externe deskundigen gehoord teneinde zicht te krijgen op omstandigheden, motieven en gelegenheden. Het uiteindelijke aan het vonnis ten grondslag liggende oordeel stijgt uit boven de waargenomen feiten en de kwalitatieve informatie doordat het deze afzonderlijke elementen combineert tot een coherent en consistent geheel.

Om kort te gaan: de claim van quasi-experimentalisten dat hun aanpak de basis vormt voor evidence based policy is onterecht. Goed evaluatieonderzoek, inclusief effectevaluatie, is niet - zoals in hun aanpak - 'model', maar 'theory driven'.

Dit is een licht bewerkte versie van een artikel dat eerder in de Evaluatiespecial van Basis 2004 verscheen.

*Ton Grimmius is lid van het directieteam en André Oostdijk projectleider bij Research voor Beleid.