Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 22 00

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Een nieuw paradigma voor beleidsonderzoek?

Beleidsonderzoek als brug tussen burger en overheid

door prof. dr. P.H.M. van Hoesel*

De overheid wil graag tot een betere verstandhouding met burgers komen. De beruchte kloof tussen burger en overheid is langzamerhand zodanig gegroeid, dat zelfs goed beleid met wantrouwen wordt bekeken. Beleidsonderzoek van voldoende kaliber kan de overheid helpen deze kloof te overbruggen en wellicht zelfs te dempen. Het gangbare beleidsonderzoek moet daartoe merendeels worden vervangen door beleidsonderzoek dat begint en eindigt bij de burger.

Inleiding
Onlangs hield Frans Leeuw zijn oratie over allerlei gedragsmechanismen bij mensen die kunnen leiden tot het mislukken van overheidsinterventies. Volgens Leeuw kost daardoor een belangrijk deel van deze interventies alleen maar geld zonder dat er sprake is van een positief effect op de gestelde beleidsdoelen. Hij spreekt in dit verband over 'beleidshomeopathie'. Anderen gebruiken hiervoor ook wel de term 'leeg beleid' of 'symbolisch beleid'. Helemaal onzinnig is zulk beleid overigens niet, want de overheid geeft daarmee wel aan dat zij het betreffende maatschappelijke probleem erkent.
Echter, burgers zitten niet te wachten op alleen maar erkenning van hun problemen, ze willen ook graag dat de overheid zorgt voor merkbare reducties van die problemen. Burgers zitten bovendien niet te wachten op beleid dat alleen maar geld kost, niet alleen vanuit hun rol als belastingbetaler, maar ook en misschien vooral vanuit hun rol als slachtoffer van onnodige beleidsinterventies. Immers, elke beleidsinterventie brengt naast uitvoeringskosten bij de overheid ook nalevingskosten voor burgers en (vooral) voor bedrijven met zich mee.
De kloof tussen burger en overheid, en meer in het bijzonder tussen kiezer en gekozene, wordt met elke overbodige beleidsinterventie alleen maar groter. Een doeltreffend middel om die kloof te dichten zou dan ook zijn al het overbodige beleid en alle overbodige uitvoeringsprocedures af te schaffen. De vrijkomende middelen kunnen dan worden gebruikt voor (het verbeteren van) interventies die wel nuttig zijn. De vraag is dan hoe je tot interventies komt die voor de burger nuttig en doelmatig zijn en tevens hoe je kunt vaststellen welke interventies overbodig zijn. Precies op dit punt kan beleidsonderzoek een sleutelrol vervullen.

Beleidsonderzoek is nog steeds geen vanzelfsprekend onderdeel in alle fasen van het beleidsproces. Ex post evaluatieonderzoek kun je tegenwoordig wel gebruikelijk noemen en misschien zelfs vanzelfsprekend, maar probleemanalyses, ex ante evaluaties en implementatieonderzoek zijn dat zeker nog niet, terwijl in de overeenkomstige fasen van het beleidsproces de grootste winst valt te behalen als het gaat om preventie van overbodige interventies. Het is niet erg handig om via ex post evaluatieonderzoek te moeten constateren dat er sprake is van overbodig beleid, want dat had al veel eerder gekund. Bovendien is dat overbodige beleid inmiddels zodanig geïnstitutionaliseerd, dat er allerlei stakeholders zijn gekomen die zich zullen verzetten tegen discontinuering van het beleid.
Wellicht heeft het in veel gevallen ontbreken van goed onderzoek in het eerste deel van het beleidsproces te maken met het feit dat politici meestal ongeduldig zijn, daarbij opgezweept door lobbygroepen, de pers of hun eigen ambities. Zij vinden het blijkbaar onaantrekkelijker om voldoende tijd te nemen om beleid goed voor te bereiden dan het risico te lopen van een overbodige interventie. Waarschijnlijk heeft dit verschijnsel ook te maken met onvoldoende besef bij beleidsmakers dat beleidsonderzoek een onontbeerlijke grondstof is voor de beleidsontwikkeling.
Verder moet worden geconstateerd dat beleidsonderzoek, ook ex post evaluatieonderzoek, nogal eens te beperkt van opzet is om er bruikbare lessen uit te kunnen trekken. Dat ligt niet alleen aan de opdrachtgever als deze met een beperkte vraagstelling komt, het ligt ook aan de beleidsonderzoeker als die een suboptimale onderzoeksopzet voorstelt.

Dat de merites van goed beleidsonderzoek onvoldoende worden onderkend door beleidsinstanties, blijkt ook uit het verschijnsel dat er meestal selectief gebruik van wordt gemaakt.
Selectief gebruik van beleidsonderzoek is te zien in vraagstellingen waarbij niet leerdoelen vooropstaan, maar doelen die betrekking hebben op de 'verkoop' van het beleid aan de samenleving. Voor dat laatste type doelen kan meestal worden volstaan met beperkte onderzoeksdesigns. Deze kunnen op bepaalde punten wel waardevol zijn, maar voor het maken van onderscheid tussen nuttig en overbodig beleid schieten ze tekort.
Selectief gebruik van beleidsonderzoek is daarnaast te zien aan de wijze waarop met resultaten van beleidsonderzoek wordt omgegaan, ook van beleidsonderzoek met een hoogwaardig design. Beleidsmakers hebben de neiging vooral de welgevallige resultaten te willen absorberen en tegelijkertijd de minder welgevallige resultaten te negeren of zelfs te ontkrachten. Maar er kan juist veel geleerd worden van de minder welgevallige resultaten, met name waar het gaat om het onderscheid maken tussen nuttig en overbodig beleid.

Zowel aan de kant van beleidsinstanties als aan de kant van beleidsonderzoekers zou moeten worden gezocht naar wegen om de rol van beleidsonderzoek te verbeteren, niet primairten behoeve van hun eigen belang maar ten behoeve van de kwaliteit van het beleid en daarmee van de kwaliteit van de samenleving. Die verbeteringen kunnen worden gezocht in alle fasen van de cyclus van beleidsonderzoek: de voorbereidingsfase, de uitvoeringsfase en de benuttingsfase.
Het meest wezenlijke aspect van de verbeteringen heeft te maken met een verschuiving van het begin- en het eindpunt van de beleidsonderzoekscyclus. Gewoonlijk zien we de opdrachtgevende beleidsinstantie als het begin- en het eindpunt, maar het verdient aanbeveling dit punt te verschuiven naar de samenleving, in het bijzonder naar het segment van de samenleving waar het onderzoek over gaat.
Bij elkaar kunnen de verbeteringen in alle fasen van de cyclus leiden tot een soort paradigmashift van het beleidsonderzoek.

Voorbereidingsfase: een maatschappelijke toets van de probleemstellingen
Een probleemstelling van beleidsonderzoek gaat ervan uit dat de informatie die door het onderzoek wordt opgeleverd uiteindelijk leidt tot beleidsverbetering. De gebruiker van die informatie moet van het onderzoek kunnen leren hoe het beleid beter kan worden. 'Beter' kan van alles zijn: betere effecten, lagere kosten, toegankelijker, meer synergie met ander beleid, transparanter, meer satisfactie bij burgers en bedrijven, minder rompslomp, weghalen van overbodige interventies. In de startdocumenten bij de aanbesteding van onderzoek blijft de relatie met beleidsverbetering overigens nogal eens impliciet. Door die relatie expliciet te maken krijgt de onderzoeker een duidelijk beeld waar zijn onderzoek voor dient en wordt de kans op selectieve benutting verkleind.
Een goede probleemstelling van beleidsonderzoek bedenk je niet vanachter de bureautafel van de beleidsmaker of van de onderzoeker, maar je ontwikkelt die in interactie met lobbyorganisaties, uitvoeringsorganisaties en vooral ook met burgers en bedrijven. Niet alleen beleidsmakers hebben vragen over maatschappelijke problemen en over voorgenomen of bestaand beleid, zulke vragen leven ook in de samenleving en door van die vragen uit te gaan kun je de samenleving uiteindelijk beter bedienen. Dat kost in eerste instantie meer tijd en aandacht, maar die tijd kan in latere stadia van het beleidsproces ruimschoots worden teruggewonnen.
Het ontwerpen van een goede probleemstelling vraagt om een aanpak die je kunt beschouwen als een voorbereidende studie. Voorbereidende studies naar reeds beschikbare kennis en data of naar de haalbaarheid van een aanpak zijn niet ongebruikelijk. Een voorbereidende studie naar de probleemstelling is echter niet gebruikelijk, maar zou dat wel moeten zijn. Je kunt zoiets tegenwoordig helaas niet meer vragen aan de onderzoekers die onderzoeksvoorstellen schrijven, want door het stringente aanbestedingsbeleid van de overheid zijn hier nauwelijks mogelijkheden voor en de probleemstelling ligt in de aanbestedingsdocumenten trouwens al helemaal vast. Een opdrachtgever zou dit kunnen omzeilen door onderzoeksbureaus korte voorstudies te laten doen naar de probleemstelling, maar hij kan dergelijke voorstudies natuurlijk ook zelf doen.
Het ontwerpen van een goede probleemstelling is tevens te zien als een beginpunt voor een succesvol proces van interactieve beleidsvorming, waarop elders in dit nummer wordt ingegaan.

Onderwerpen voor beleidsonderzoek komen vooral op de agenda binnen de sfeer van beleidscircuits. Deze onderzoeksagenda zou ook toegankelijk moeten worden voor het praktijkveld en voor het publiek. Door de onderzoeksprogrammering aldus in te richten zal de keuze voor de onderwerpen beter aansluiten bij de behoeften in de samenleving en daardoor uiteindelijk beter beleid kunnen opleveren. In de jaren 80 bestonden er nog programmeringsorganen voor beleidsonderzoek die ruimte gaven aan onderzoeksvragen buiten het beleidscircuit, maar die zijn allengs bijna allemaal verdwenen. Een heruitvinding van dergelijke organen is wellicht een manier om de toegang tot de onderzoeksagenda van de overheid institutioneel te maken.
Langs deze weg kan tevens worden bereikt, dat er meer aandacht komt voor onderzoek in de eerdere fasen van het beleidsproces. De meest belangwekkende vragen van beleidsonderzoek zijn vragen over de oorzaken van maatschappelijke problemen, het ambitieniveau van het overheidsbeleid, de deugdelijkheid van voorgenomen beleidsinterventies en de deugdelijkheid van de implementatie van het beleid. Immers, als zulke vragen goed worden beantwoord mag je verwachten dat het aandeel nuttige interventies tegenover het aandeel overbodige interventies sterk wordt verbeterd.
Daarmee is niet gezegd dat het onderzoek naar bestaande overheidsinterventies maar moet stoppen. Integendeel zelfs, want niet alleen bevat het bestaande beleidspakket veel onnodige interventies, maar ook raken aanvankelijk nuttige interventies na verloop van tijd obsoleet.

Uitvoeringsfase: systematisch gebruik van wetenschappelijke kennis, 'natuurlijke' informatiebronnen en levensechte onderzoeksdesigns
Het verzamelen van informatie in het kader van een beleidsonderzoeksproject beperkt zich nogal eens tot veelgebruikte methoden zoals een enquête, een serie gesprekken, hergebruik van statistische data, een beperkte internetsearch. Dat heeft wellicht te maken met beperkte budgetten voor onderzoek maar zeker ook met gewoontevorming bij onderzoekers en opdrachtgevers. Met de genoemde methoden is op zichzelf niets mis, maar ze zijn in veel gevallen ontoereikend als we op zoek zijn naar het onderscheid tussen nuttig en overbodig beleid.

Opdrachtgevers hebben er meestal een hekel aan als een onderzoeker een onderdeel literatuurstudie meebegroot. Zij lijken van mening te zijn dat de onderzoeker niet op kosten van de opdrachtgever moet gaat studeren; die kennis dient de onderzoeker immers al in zijn hoofd te hebben. Dat is helaas een misvatting, want het is onmogelijk om voor een specifieke probleemstelling uit het hoofd te weten welke relevante wetenschappelijke kennis daarvoor allemaal beschikbaar is. Probleemstellingen van beleidsonderzoek zijn veel breder dan probleemstellingen van wetenschappelijk onderzoek, zoals James Coleman ons al in 1972 voorhield. In plaats van een paar variabelen die vanuit één theoretische invalshoek worden beschouwd gaat het om vele variabelen die vanuit allerlei theoretische invalshoeken kunnen worden beschouwd. Bovendien bevat elke probleemstelling van beleidsonderzoek een vrijwel unieke combinatie van specifieke aspecten die in de analyse moeten worden betrokken.
De onderzoeker heeft ongetwijfeld veel in zijn hoofd zitten, waardoor hij in elk geval de nodige aanknopingspunten heeft om gericht op zoek te kunnen gaan naar bestaande kennis. Als hij verder gaat zoeken vindt hij altijd meer en betere informatie waarmee de uit te voeren probleemanalyse c.q. beleidsanalyse op een hoogwaardiger niveau kan worden uitgevoerd, leidend tot een hogere validiteit van de uitkomsten tegen in verhouding daarmee lagere kosten.
Het is in bepaalde gevallen zelfs mogelijk om aan de hand van een goede literatuurstudie een zodanige analyse te maken, dat andere informatiebronnen niet eens meer nodig zijn. Een literatuurstudie zou bijvoorbeeld aan de hand van diverse empirische studies kunnen laten zien dat van een voorgenomen beleidsmaatregel niet de gedragsreacties verwacht mogen worden die de beleidsmaker graag zou zien. Het heeft dan nauwelijks meer zin om via een andere methode na te gaan of dit wel klopt.
In de meeste gevallen kan de vraagstelling niet volledig worden beantwoord met een literatuurstudie. Dan is aanvullende informatie uit andere bronnen nodig, die echter wel kan voortbouwen op de kennis uit de literatuur waardoor het verdere onderzoek beter zal verlopen dan bij een beperkte literatuurstudie.
Het internet is een krachtig hulpmiddel bij literatuuronderzoek in brede zin, zoals elders in dit nummer wordt beschreven. Een mogelijkheid die in het beleidsonderzoek nog weinig wordt benut is een sneeuwbalmethode waarbij de gevonden kennis cumulatief wordt uitgebouwd en getoetst bij andere deskundigen. Wellicht kunnen zo rond bepaalde onderwerpen kenniskringen gevormd worden die in staat zijn de bestaande kennis op een effectieve wijze te importeren in de desbetreffende beleidsonderzoeksprojecten.

Een enquête is een veelgebruikte methode van informatieverzameling. Tegelijkertijd is het ook een omslachtige methode, tenminste als je die goed wilt uitvoeren. Een goede vragenlijst is bepaald geen sinecure en het valideren ervan vergt veel inspanningen. En zelfs een goede vragenlijst kan niet alle methodologische problemen oplossen zoals sociaal wenselijke antwoorden, verstoringen in het geheugen en non-respons.
Het verdient dan ook aanbeveling zo veel mogelijk te zoeken naar informatie die al beschikbaar is en een enquête alleen in te zetten als dat echt niet anders kan. Talloze instellingen verzamelen continu informatie ten behoeve van hun eigen werkzaamheden. Als zulke informatie door de beleidsonderzoeker met behulp van moderne zoektechnieken kan worden ontsloten levert dit niet alleen veel waarnemingen op maar ook wat je kunt noemen gegevens met een natuurlijke validiteit. Deze gegevens betreffen veelal vastleggingen van het gedrag van grote aantallen burgers en dienstverleners en ook van activiteiten van beleidsinstanties. Elders in dit nummer zijn voorbeelden van 'natuurlijke' gegevens te vinden over koopgedrag, reisgedrag, vacatures op de arbeidsmarkt, bestemmingsplannen en cultureel erfgoed.
Bij zulke gegevens zullen de genoemde methodologische problemen nauwelijks optreden. Daarvoor treden wel andere problemen in de plaats, zoals het somtijds ontbreken van bepaalde gegevens die van belang zijn voor de analyse of beperkingen van het gebruik van de gegevens als gevolg van de privacywetgeving, maar zulke problemen zijn uiteindelijk beter oplosbaar dan de eerdergenoemde.
Het CBS vervult tegenwoordig een behulpzame rol bij de ontsluiting van dergelijke gegevens, maar het CBS kan natuurlijk niet alle behoeften afdekken. Daarom moeten beleidsonderzoekers ook zelf methoden ontwikkelen om natuurlijke gegevens te kunnen gebruiken.

Onderzoeksontwerpen die zijn gebaseerd op uitsluitend bureauwerk van de onderzoekers leveren in de meeste gevallen onvoldoende informatie op. Dat bureauwerk is overigens bijna altijd noodzakelijk, maar daarnaast zijn wat je kunt noemen 'levensechte' onderzoeksdesigns nodig.
Als je op zoek bent naar oorzaken van maatschappelijke problemen of de oorzaken van mislukte beleidsinterventies volstaan statistische gegevens bijna nooit. Je kunt oorzaken wel achterhalen via casestudies in het veld of via een panel van ervaringsdeskundigen.
Als je wilt weten of een bepaalde beleidsmaatregel gaat werken, levert een veldexperiment of een simulatiespel waardevollere informatie op dan een opinieonderzoek onder de doelgroep.
Als je wilt weten of een voorlichtingscampagne gaat werken, kan een associatietest zoals elders in dit nummer wordt beschreven, eerder tot een zinvolle campagne leiden dan een pretest op basis van een vragenlijst.
Als je wilt weten of het beleid wordt uitgevoerd zoals bedoeld, levert een onderzoek met 'mystery clients' meer op dan allerlei cijfers over klanten die zijn geholpen.
Als je wilt weten of beleid het beoogde effect heeft, kunnen monitoren zorgen voor een deel van het antwoord maar kunnen gedragsobservaties in het veld voor belangwekkende aanvullende informatie zorgen.
Het gaat hierbij in alle gevallen om designs die de onderzoeker dicht bij de werkelijkheid brengen waar burgers mee te maken hebben. In combinatie met het bureauwerk kan dit een juist beeld opleveren van wat overheidsbeleid vermag en ook wat overheidsbeleid nou net niet vermag.

Benuttingsfase: leereffecten bij beleidsinstanties teweegbrengen
Voorstellen voor beleidsonderzoek bevatten zelden een benuttingsparagraaf. Dat is merkwaardig, want beleidsonderzoek dient informatie op te leveren waar vervolgens ook wat mee gedaan moet worden. Het onderzoeksontwerp dient niet alleen rekening te houden met de op te leveren informatie maar ook met de functie die deze informatie vervult in het beleidsproces. Wanneer met het laatste onvoldoende rekening is gehouden loop je een fors risico dat het onderzoek onbenut blijft.
Het gaat uiteindelijk om het leereffect bij beleidsinstanties: alleen dan kunnen verbeteringen voor de burger ontstaan. Door al in de voorbereidende fase aan te geven hoe het leereffect teweeg kan worden gebracht wordt de kans verhoogd dat dit leereffect ook echt optreedt. Met andere woorden, er moet niet alleen aandacht worden besteed aan de productiekant van de informatie maar ook aan de consumptiekant. Het onderzoeksbudget dient tevens in het laatste te voorzien.
Voor de onderzoeker betekent dit een zekere verlenging van zijn professie, waarbij hij een adviserende rol vervult bij de implementatie van de onderzoeksresultaten. Daarbij kan de onderzoeker tevens toetsen of zijn resultaten voldoen aan Mark van de Vall's eis van 'implementaire' validiteit.
Niet alleen moet de onderzoeker zorgen voor toegankelijke rapportages en een duidelijke uitleg van de uitkomsten, maar ook is het zinvol als hij de opdrachtgever helpt met het op gang brengen van een verbeteringstraject.
Het is verstandig als in deze fase opnieuw contact wordt gezocht met uitvoerders en burgers, zodat de veelbesproken kloof tussen burger en overheid zo goed mogelijk kan worden overbrugd. Dit is tevens te zien als het eindpunt van een succesvol proces van interactieve beleidsvorming, waarop elders in dit nummer wordt ingegaan.

Een paradigmashift van het beleidsonderzoek?
Goed beschouwd is geen van de hierboven genoemde aanbevelingen nieuw of opzienbarend. Sterker nog, ze zijn allemaal al eens in praktijk gebracht. Maar bij elkaar genomen is dit bepaald niet de dominante praktijk in het beleidsonderzoek. Als gelijktijdig alle aanbevelingen over de gehele linie in praktijk zouden worden gebracht, is het begrip paradigmashift geen verkeerde aanduiding.
Voor beleidsonderzoekers betekent dit, dat zij hun professionele competenties in alle fasen van de beleidsonderzoekscyclus dienen aan te scherpen. In de voorbereidende fase zullen zij aandacht moeten geven aan een betere koppeling tussen maatschappelijke problemen en de probleemstellingen van beleidsonderzoek. In de uitvoerende fase zullen zij de band met de wetenschap nauwer moeten aanhalen, zich moeten bekwamen in het benutten van natuurlijke informatiebronnen en de nodige creativiteit aan de dag moeten leggen m.b.t. de onderzoeksdesigns. In de benuttingsfase zullen zij zich moeten toeleggen op hun adviesvaardigheden.
Als beleidsonderzoekers daarin voldoende investeren, maken zij het tevens voor opdrachtgevers makkelijker om mee te gaan in deze paradigmashift.

* Peter van Hoesel is directeur van Panteia