door drs. K. van Dijken * Lokale rekenkamers evalueren doelmatigheid en doeltreffendheid van gemeentelijk en provinciaal beleid. In veel evaluaties blijkt het onmogelijk beleidseffecten vast te stellen. Een analyse van vijftien rapporten van lokale rekenkamers laat zien dat meer aandacht kan worden besteed aan de beleidstheorie. Daarmee is aannemelijker te maken dat beleid wel of geen effect heeft. Per 1 januari 2006 zal er in iedere gemeente een rekenkamer of rekenkamerfunctie zijn. Dit nieuwe instrument moet de controlerende rol van de gemeenteraad versterken. De afgelopen jaren zijn het aantal rekenkamers en de uitgevoerde onderzoeken gegroeid. De locale rekenkamer(functie) beoogt doelmatigheid en doeltreffendheid van gemeentelijk of provinciaal beleid te onderzoeken en hieruit lessen te trekken. Met de ontwikkeling van de lokale rekenkamers is tegelijkertijd een lovenswaardige infrastructuur en cultuur gegroeid om de verrichte onderzoeken openbaar maken. Via de Nederlandse Vereniging van Rekenkamers en Lokale Rekenkamercommissies zijn al bijna vierhonderd rekenkameronderzoeken beschikbaar. Als de gemeenten en lokale rekenkamers de best practices in het evaluatieonderzoek van elkaar overnemen en de resultaten van de onderzoeken met elkaar vergelijken, kan een evaluatiepraktijk ontstaan met state-of-the-art beleidsevaluaties. Door méér aandacht te besteden aan de beleidstheorie in de onderzoeken wordt aangesloten bij de best-practice. Effecten van beleid
Uit een recente beoordeling van twintig ex-post beleidsevaluaties in het kader van VBTB op nationaal niveau blijkt geen enkele evaluatie de beleidseffecten in beeld te brengen. Ook in vele onderzoeken van de lokale rekenkamers treft men de verzuchting aan dat de effecten van het beleid niet zijn vast te stellen.
Door in de rekenkameronderzoeken méér aandacht te besteden aan de plausibiliteit van het beleid, kunnen duidelijker conclusies getrokken worden over de effecten. Daarbij zijn de volgende acht plausibiliteitscriteria te onderscheiden:
• visie op het beleidsprobleem
• definitie van het probleem
• beleidshypothesen
• beleidsdoelen
• gebruikte beleidsinformatie
• taakverdeling tussen de bij de beleidsuitvoering betrokken actoren
• interveniërende variabelen die van invloed zijn op de effecten van het beleid
• samenhang tussen ingezette middelen, beleidsuitvoering, resultaten en verwachte effecten. Deze criteria zijn de basis voor de reconstructie van de, meestal impliciete, beleidstheorie achter het gekozen beleid en de ingezette instrumenten. Door de acht criteria in het evaluatieonderzoek te betrekken, ontstaat een richtinggevende invalshoek voor de evaluatie en kunnen duidelijker conclusies over de effecten van beleid worden getrokken. De acht criteria worden besproken aan de hand van voorbeelden die zijn aangetroffen in vijftien onderzoeken van lokale rekenkamers. Deze onderzoeken zijn geselecteerd op grond van gemeentegrootte en beleidsthema. De visie op het beleidsprobleem
De analyse van een visie op het beleidsprobleem ontbreekt vaak. De simpele vraag waarom het beleid in gang is gezet, wordt niet beantwoord, omdat men vrij snel insteekt op het uitvoeringsproces. Deels komt dit omdat men nationaal beleid uitvoert en zich in de evaluatie niet meer de vraag stelt waar dit beleid een oplossing voor moet zijn. Eén van de onderzoeken signaleert terecht dat “de uitvoering van een publiekrechtelijk regeling” een wel erg magere visie van de gemeente is op eigen beleidsproblemen en eigen beleidsdoelen. Deze constatering is echter een uitzondering. Over het algemeen richt men zich gelijk op de WOZ/OZB, het huren of kopen van rolstoelen, de inhuur van externen of de prestatieafspraken met gesubsidieerde instellingen. Vaak worden minutieus alle wijzigingen in regelgeving en procedures beschreven. Wat men wil bereiken met het beleid komt nauwelijks aan de orde.
In drie rapporten wordt deze visie wel gereconstrueerd of wordt gesignaleerd dat de visie mager is. Zo relateert het rekenkamerrapport van de gemeente Amersfoort het beleid van de inhuur van externen aan de strategische visie dat Amersfoort een regiegemeente wil zijn. Definitie van het probleem
Het merendeel (60%) van de rapporten bespreekt de aanleiding voor het betreffende evaluatieonderzoek. Klachten, uitvoeringsproblemen, een verzoek van de Raad of aanwijzingen uit een NMA-rapport worden aangetroffen als redenen voor het uitgevoerde rekenkameronderzoek.
Op het maatschappelijke probleem dat het beleid moet oplossen, wordt echter zelden ingegaan. Dat de gemeente beleid uitvoert spreekt kennelijk voor zich. Men houdt zich bezig met onderwijshuisvesting, de WOZ/OZB, het subsidiëren van instellingen en verkoop van huurwoningen. Welk probleem hier mee wordt opgelost, komt niet aan de orde. De evaluatie van een subsidieregeling aan een sportvereniging kan nuttig zijn,maar belangrijk is dan de vraag welk maatschappelijk probleem hiermee wordt opgelost. Beleidshypothesen
In vierstudies wordt ingegaan op de vraag of er beleidshypothesen zijn geformuleerd die een duidelijke relatie leggen tussen het probleem en verklarende factoren. Zeer duidelijk is bijvoorbeeld de beleidshypothese dat het kopen van rolstoelen goedkoper is dan huren. Bij de reconstructie van de beleidshypothesen achteraf zijn belangrijke vragen: waarom dacht men dat het instrument zou werken, zou het beleid in alle gevallen, omstandigheden en voor alle beoogde doelgroep effectief zijn, is nagedacht over de duur dat het instrument ingezet zou moeten worden, zijn alternatieven afgewogen? Beleidsdoelen
Men zou verwachten dat elk rekenkameronderzoek weet aan te geven wat de beleidsdoelen zijn. Dat is niet het geval. Diverse rekenkamers signaleren beperkte mogelijkheden om doeltreffendheid en doelmatigheid te kunnen aantonen omdat het College en de Raad wel allerlei algemene doelen vaststellen, maar hebben nagelaten deze doelen helder te operationaliseren. Herhaaldelijk zijn de doelen te algemeen, te vaag en zonder tijdshorizon geformuleerd. Als men niet weet aan te geven waarom ‘het verbeteren en professionaliseren van de inkoopprocedure’ een beleidsdoel is, dan is de beleidstheorie zwak uitgewerkt.
Ook komt het voor dat de onderzoeksvraag sterk is ingeperkt. Als het doel van de gemeente is te zorgen voor adequate onderwijshuisvesting die aansluit bij de behoeften, dan kun je als Rekenkamercommissie terecht constateren dat deze doelen niet SMART zijn. Om het onderzoek dan alléén nog te richten op de vraag of de procedures leiden tot een goede inschatting van de kosten voor onderwijshuisvesting, heeft niet veel meer te maken met de beleidsdoelen. De reconstructie van de beleidsdoelen en een duidelijke beoordeling van de doelen ten opzichte van de beleidsproblemen blijft een stap die in elke beleidsevaluatie gezet moet worden. Verder is het belangrijk te reconstrueren in welke mate beleidsalternatieven zijn afgewogen. Gebruikte beleidsinformatie
Een eenvoudige stap bij de reconstructie van de beleidstheorie is te kijken welke informatie gebruikt is bij beleidsontwikkeling en instrumentkeuze. Hierover wordt slechts in twee van de onderzocht studies iets gezegd. Dat is jammer. Een beoordeling van de gehanteerde informatie op actualiteit, tijdigheid, consistentie, relevantie, juistheid en volledigheid, kan veel van de impliciete beleidstheorie zichtbaar maken. De gebruikte informatie is volledig te noemen als alle relevante aspecten voor de onderbouwing van het beleid zijn afgewogen, als er een adequate analyse van het maatschappelijke probleem was, als dit op de juiste wijze is vertaald naar het beleidsprobleem, als nagedacht is over het beleidsverleden en als mogelijke scenario’s en alternatieven zijn beoordeeld. Taakverdeling tussen de actoren
Bij de reconstructie van de beleidstheorie is van belang te onderzoeken wat is vastgelegd over de taakverdeling tussen betrokken actoren en over de specifieke rol en inbreng van de gemeente of provincie. Is er bijvoorbeeld nagedacht over de effecten van een gemeentelijke of provinciale subsidie van 5% van de omzet van een gesubsidieerde instelling? Wat betekent het dat de provincie aan tafel zit, coördineert, afstemt, stimuleert en dergelijke. Is er nagedacht over tegenstrijdige belangen en hoe daarmee om te gaan? Slechts in één onderzochte studies wordt hierop ingegaan. Interveniërende variabelen
Uiteraard worden in de vele procesevaluaties aandacht besteed aan de interveniërende factoren tijdens de uitvoering van het beleid. Voor de plausibiliteit van het beleid is het echter van belang dat een bewuste afweging heeft plaatsgevonden van de interveniërende factoren voordat met het beleid is gestart. In de vijftien beoordeelde rapporten wordt niet of nauwelijks gereconstrueerd of de effecten mede beïnvloed worden door de conjunctuur, mede afhankelijk zijn van het beleid van andere overheden of afhankelijk zijn van de aanwezigheid of het vertrek van een instelling binnen de gemeentegrenzen. Logica en samenhang
In de onderzochte studies vindt evenmin nauwelijks reflectie plaats op de logica van en de samenhang tussen ingezette middelen, beleidsuitvoering, prestaties en verwachte effecten. Voortschrijdend bewustzijn is zichtbaar in het rapport van Wijk bij Duurstede. Men constateert dat het besluit om in het verleden voor tonnen rolstoelen te kopen niet solide was onderbouwd. Volgens een rapport van een consultant zou dat goedkoper zijn. Het bestuur en de uitvoerders hebben echter niets gedaan om deze eenvoudige beleidshypothese ook achteraf te kunnen toetsen. De financiële administratie maakt het onmogelijk om conclusies te trekken. Wel wordt duidelijk dat het beheer vanaf het begin niet goed geregeld is, veronderstellingen niet klopten en de uitvoerder de expertise miste om het beoogde werk te kunnen doen. Conclusie
Bijna alle onderzochte evaluatieonderzoeken gaan over het proces. Doeltreffendheid en doelmatigheid worden veelal procesmatig benoemd. Doeltreffendheid betekent dan: van te voren vastgelegde resultaten, gemonitorde voortgang en evaluatie. Doelmatigheid wordt verengd tot: wat waren de afwegingen, zijn meerdere offertes gevraagd, zijn er sancties? De Rekenkamer van Almere constateert dat resultaten vaak zijn geformuleerd als inspanningen en activiteiten als het maken van plannen. Deze bewustwording is winst, de volgende stap is dat de onderzoeken ingaan op de echte vragen naar doelmatigheid en doeltreffendheid.
Over effecten, doelmatigheid en doeltreffendheid van beleid kunnen duidelijker conclusies getrokken worden als de rekenkameronderzoeken méér aandacht besteden aan de impliciete of expliciete beleidstheorie achter het gekozen beleid. Door in de evaluatieonderzoeken systematisch aandacht te besteden aan de acht besproken plausibiliteitscriteria kan beter aannemelijk worden gemaakt dat het beleid wel of niet bijdraagt aan de beoogde effecten. Deze mogelijkheid voor versterking van evaluatieonderzoek kunnen de rekenkamers in de toekomst vaker en beter benutten. Koos van Dijken was directeur van IOO (Instituut voor Onderzoek van Overheidsuitgaven). Dit artikel is gebaseerd op een workshop die de auteur gaf op de Dag van de Lokale Rekenkamers, op 1 oktober 2005 in Utrecht, en verscheen eerder in Basis 2005, nummer 4.
Literatuur:
• www.nvrr.nl
onderdeel rapportages.
• Tweede Kamer der Staten-Generaal, Evaluatie VBTB, vergaderjaar 2004-2005, 29 949, nr. 1 en de bijlagen bij het eindrapport VBTB-evaluatie ‘Evaluatie ex ante onderzoek Rijk’ (3 oktober 2004) en ‘Evaluatie ex post onderzoek’ (25 november 2004)
• D. Grijpstra, Evaluatie van beleidsmaatregelen; outcome of good practice?,
in: Basis 3/2002
• Frans L. Leeuw, Reconstructing Program Theories: Methods Available and Problems to be Solved, in : American Journal of Evaluation, vol. 24, no. 1, Spring 2003, blz. 5 – 20
• Pawson, R. en N. Tilley, Realistic evaluation, Londen/New Delhi, 1997
• zie voor de beoordeling van de beleidsinformatie de ex-post evaluaties van de Algemene Rekenkamer
|