Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 22 00

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Er is meer te zeggen over effectiviteit van beleid

Evaluatie van doeltreffendheid en doelmatigheid

Door drs. M. van der Aalst en drs. J.A. van Dijken*

Volgens het Interdepartementaal Overlegorgaan Financieel Economische Zaken (IOFEZ) geven de evaluaties die de rijksoverheid laat uitvoeren tot nu toe zelden een goed antwoord op de effectiviteitvraag. Dit artikel brengt de belangrijkste oorzaken in beeld en reikt een aantal praktische oplossingen aan. De samenwerking tussen Research voor Beleid en het Instituut voor Onderzoek van Overheidsuitgaven biedt op dit punt unieke mogelijkheden.

Volgens het eindrapport van de VBTB-evaluatie uit 2004 is het niet goed gesteld met de doelmatigheid van het rijksoverheidsbeleid. Hoewel men inmiddels meer nadenkt over de beoogde resultaten, wordt het beleid inhoudelijk nog onvoldoende onderbouwd. Ex ante evaluaties vinden nauwelijks plaats. Geen van de twintig onderzochte evaluatierapporten brengt de effecten van het beleid in beeld. Waarom trekken de VBTB-evaluatoren en het Interdepartementaal Overlegorgaan Financieel Economische Zaken (IOFEZ), dergelijke harde conclusies? Zijn deze teleurstellende feiten een onontkoombaar gegeven van de beleidspraktijk? De auteurs van dit artikel zijn van mening dat over het algemeen de mogelijkheden in effectevaluaties niet volledig benut worden.

Problemen
Sinds het eindrapport van de VBTB-evaluatie in 2004 is er niet veel veranderd. Nog steeds worden de effecten van het beleid in de evaluaties veelal niet vastgesteld. De oorzaken hiervoor zijn legio. In veel gevallen zijn er geen, of hooguit vage beleidsdoelstellingen geformuleerd. Vaak is het lastig om het effect van overheidsbeleid af te zonderen van autonome maatschappelijke ontwikkelingen. Bovendien moeten evaluaties nogal eens te snel na implementatie van beleid worden uitgevoerd. Het beleid is dan onvoldoende bestendigd in de uitvoering. Soms krijgt het die tijd ook niet, en worden andere of aanvullende beleidsmaatregelen genomen voordat de effecten goed en wel kunnen worden vastgesteld.
Verder komt het regelmatig voor dat er in de opdrachtverstrekking niet om effectevaluatie wordt gevraagd. Veel beleidsonderzoek betreft in feite een instrument- of een procesevaluatie. Het daadwerkelijk in kaart brengen van de effecten gaat een stap verder en brengt extra kosten met zich mee. Idealiter bekijkt men daarvoor immers ook wat er zou zijn gebeurd zonder beleid (de counterfactual).
Vaak wordt met de mond beleden dat de doelmatigheid en doeltreffendheid van het beleid geëvalueerd moeten worden, maar worden niet de middelen en condities gecreëerd om dat mogelijk te maken. Wij pleiten, met de VBTB-evaluatoren, voor minder, maar wel betere beleidsevaluaties. Er zijn nationaal en internationaal en over alle beleidsterreinen heen vele voorbeelden die de inspiratiebron kunnen zijn voor betere effectiviteitstudies. In dit artikel beschrijven we een aantal belangrijke aanknopingspunten.

Figuur 1 De effectiviteit van beleid: doelmatigheid en doeltreffendheid, Bron: Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid, Ministerie van Financiën, Den Haag, maart 2002, blz. 18 (aangepast door de auteurs)

Doeltreffendheid van beleid
Om tot uitspraken te kunnen komen over de doeltreffendheid van beleid is het allereerst van belang dat de effecten vastgesteld worden. Onder doeltreffendheid van beleid verstaan we immers de mate waarin het beleid leidt tot de gewenste effecten. Vaak is het nog wel mogelijk de output of resultaten van beleid in kaart te brengen maar is de causale link tussen beleid en beoogde doelstelling amper te leggen. Een voorbeeld: van een werkloosheidsinstrument is nog wel vast te stellen hoeveel mensen eraan hebben deelgenomen en hoeveel mensen nadien werk hebben gevonden, maar het uiteindelijke effect van het instrument op de werkloosheid blijft vaag.
Binnen Panteia heeft Research voor Beleid een eigen model voor beleidsevaluaties ontwikkeld. Kern van het model is de plausibiliteit van de effecten: is het aannemelijk dat de gesignaleerde effecten dankzij het beleid zijn gerealiseerd? Het model is gebaseerd op de principes van de realistische evaluatie. Uitgangspunt is dat effecten van beleid pas echt kunnen worden vastgesteld wanneer ook een verklaring kan worden gegeven voor het al dan niet optreden ervan. Dit impliceert dat niet alleen wordt gekeken naar direct waarneembare effecten maar ook naar de input, de beleidsuitvoering en de beleidscontext.
Een belangrijke eerste stap in het evaluatiemodel is de reconstructie van de beleidstheorie: waarom en met welk idee is gekozen voor een beleidsmaatregel, welke alternatieven zijn waarom niet gekozen, welke uitwerking werd ervan verwacht en welke doelen werden eraan gesteld? In veel gevallen is het beleid op deze punten onvoldoende helder en eenduidig doordacht. Soms zijn er zelfs geen heldere en eenduidige doelstellingen geformuleerd en zijn alternatieven nauwelijks afgewogen. Door middel van een reconstructie van de impliciete beleidstheorie worden ten behoeve van de evaluatie alsnog de doelen en de alternatieven helder en eenduidig geformuleerd. Tijdens de evaluatie wordt vervolgens getoetst of het beleid ook daadwerkelijk uitwerkt op de wijze waarop dit werd verwacht. (zie figuur 1).

Meetbare resultaten worden in kaart gebracht
Tijdens de evaluatie is er daarnaast ruime aandacht voor de teweeggebrachte mechanismen: is er gedaan wat gedaan moest worden, wat was daarvan de uitwerking, was dit ook de uitwerking die van het beleid werd verwacht? Door aandacht voor dit soort mechanismen zijn uiteindelijk de effecten van het gevoerde beleid goed te duiden. Wanneer beleid de werkvloer niet haalt of wordt toegepast op de verkeerde doelgroep, is evaluatie eigenlijk al overbodig. Dit betekent dat een echte effectevaluatie altijd een combinatie is van kwalitatieve en kwantitatieve methoden.

Waar mogelijk, is er ook aandacht voor de situatie zoals die zou zijn geweest als de beleidsmaatregel niet genomen was, de 'counterfactual'..Soms is de 'counterfactual' te construeren met creatieve onderzoeksdesigns, historische analyses, controlegroepen, doelgroepverschuivingen, simulaties, scenario's, vergelijkingen met andere beleidsterreinen, departementen, provincies, gemeenten of landen. Dit vergt meer dan alleen het vergelijken van cijfers. Vaak is het nodig om de beschrijving van de 'counterfactual' te corrigeren voor de specifieke context in het verleden, op die andere beleidsterreinen en/of in die andere gebieden. Dit vergt wel een aanzienlijk zwaarder, en duurder, design. Voor opdrachtgevers is het daarom van groot belang vooraf te overwegen hoe belangrijk het is om de effecten van beleid meetbaar in beeld te brengen. Vaak zal kunnen worden volstaan met het beargumenteren van de beleidseffecten.

Doelmatigheid van beleid
De doelmatigheid van het beleid wordt bepaald door de effecten die bereikt zijn met het beleid te relateren aan de ingezette middelen, zoals personeel, materieel en geld. Doelmatigheid richt zich op de vraag of dezelfde effecten ook met minder middelen gerealiseerd hadden kunnen worden (of betere effecten met dezelfde inzet van middelen). Dit is de kosteneffectiviteit uit figuur 1. Evenals bij de doeltreffendheidsvraag van beleid kan de doelmatigheidsvraag alleen beantwoord worden als de effecten van het beleid kunnen worden gemeten of beschreven. Vaak vormt de analyse van de ingezette middelen en het meten van de output niet het grootste probleem.
Het IOO is gespecialiseerd in het verrichten van onderzoek naar de doelmatigheid, zowel van de beleidsuitvoering als van het beleid. De methoden die IOO daarbij toepast zijn kengetallenanalyses, de benchmarking van beleids-, uitvoerings-, toezicht- en handhavingsprocessen, de vergelijking van deelprocessen en deelactiviteiten, data envelopment analyses, stochastische frontier analyses, kosteneffectiviteitsanalyses, kosten-batenanalyses en multicriteria-analyses.
De doelmatigheidsconclusies worden robuuster wanneer in de evaluatie tevens aandacht besteed wordt aan de zuinigheid (de benodigde input voor de beleidsuitvoering ten opzichte van het productieproces) en de doelmatigheid van de bedrijfsvoering oftewel de productiviteit(de middelen in relatie tot de output). Dit productiviteitsonderzoek wordt door hrt IOO ook als zelfstandig onderzoek uitgevoerd. De toe te passen methoden zijn in beginsel hetzelfde als bij het doeltreffendheid- en doelmatigheidsonderzoek.

Ten slotte
Om de doeltreffendheid en de doelmatigheid van het beleid in kaart te brengen, is complementaire onderzoeksexpertise nodig en dienen meerdere onderzoeksinstrumenten ingezet te worden. De samenwerking tussen en zusterwerkmaatschappijen binnen Panteia biedt hiervoor uitgebreide mogelijkheden. Voor een optimale analyse van beleidseffecten is het nuttig dat beleidsonderzoekers van verschillende disciplines hun krachten bundelen. Daarmee valt er meer te zeggen over de effecten van beleid langs de lijnen die hierboven uiteen zijn gezet.

Naschrift
Het bovenstaande artikel is in 2005 gepubliceerd, maar heeft nog niets aan actualiteitswaarde ingeboet. Ook in 2008 is in evaluatieonderzoek effectmeting het probleem. Er zijn zeker ontwikkelingen op dit gebied. IOO kan een positieve bijdrage leveren aan deze ontwikkelingen door op verschillende beleidsterreinen nieuwe technieken toe te passen. IOO biedt daarbij een breed scala van economische evaluatietechnieken aan. Daarnaast wint beleidsonderzoek aan kracht wanneer economische evaluaties worden aangevuld met beleidstheoretische benaderingen. Samenwerking tussen de werkmaatschappijen van Panteia vormt een extra dimensie om te voorzien in de veelvormige informatiebehoefte van onze opdrachtgevers.

* Mechelien van der Aalst was werkzaam als projectleider bij Research voor Beleid, Koos van Dijken was werkzaam als directeur bij het Instiuut voor Onderzoek van Overheidsuitgaven

literatuur:

Blank, Jos L.T. (ed.), Public Provision and Performance; Contributions from Efficiency and Productivity Measurement, Amsterdam, 2000.
Bulder, B. Effectief evalueren; zeven adviezen voor de strategie van evaluatieonderzoek, in: Basis Evaluatiespecial 2004.
Gerritse, Ronald, Beleidsonderzoek: wat is er voor, wat is er tegen?, in: VBO/VSO, Is er een toekomst voor beleidsonderzoek, verslag van het congres van 4 november 2003, Nijmegen/Den Haag, 2003, blz. 26 - 30.
Grijpstra, D., Evaluatie van beleidsmaatregelen; outcome of good practice?, in: Basis 3/2002.
Grimmius, T.K. en A. Oostdijk, Regeling prestatiegegevens en evaluatieonderzoek rijksoverheid; kans of valkuil?, in: Basis 2/2002.
Leeuw, Frans L, Reconstructing Program Theories: Methods Available and Problems to be Solved, in: American Journal of Evaluation, vol. 24, no. 1, Spring 2003, blz. 5 - 20.
Tijdschrift voor Openbare Financiën, Thema: Productiviteit en effectiviteit van de overheid, 2008, nr. 2.
Pawson, R. en N. Tilley, Realistic evaluation. Sage publications, Londen, Thousend Oaks, New Delhi, 1997.
Tweede Kamer der Staten-Generaal, Evaluatie VBTB, vergaderjaar 2004-2005, 29 949, nr. 1 en de bijlagen bij het eindrapport VBTB-evaluatie 'Evaluatie ex ante onderzoek Rijk' (3 oktober 2004) en 'Evaluatie ex post onderzoek' (25 november 2004).