Redactieadres:

Panteia B.V.

Postbus 7001

2701 AA Zoetermeer

T: 079 - 322 28 07

F: 079 - 343 01 01

E: redactie@panteia.nl

• Sign In

Leren in de publieke sector

Benchmark gemeentelijke rioleringszorg

door dr. N.E. Stroeker en drs. K. van Dijken*

In 2005 hebben 35 gemeenten deelgenomen aan de benchmark rioleringszorg. Het centrale doel van deze benchmark is om gemeentelijke rioleringsbedrijven via onderlinge vergelijking te laten leren. De vergelijking van de rioleringszorg tussen gemeenten richt zich op de organisatie van de rioleringszorg, het presteren van het rioleringssysteem en de factoren waarop de gemeenten kunnen sturen.

Benchmarken vervult een belangrijke rol bij het moderniseren van de publieke sector. Het ministerie van BZK en de Vereniging van Nederlandse Gemeenten zien voor zichzelf dan ook een belangrijke rol weggelegd om de benchmarking van publieke prestaties te bevorderen. Handleidingen, overzichten van prestatie-indicatoren, keurmerken en de uitwisseling van best practices moeten de laatste drempelvrees bij overheden, diensten en afdelingen wegnemen. De benchmark gemeentelijke rioleringszorg van Stichting RIONED is illustratief voor de inzichten die met benchmarking bereikt kunnen worden. Deze benchmark is in 2005 uitgevoerd door een multidisciplinair consortium van Instituut voor Onderzoek van Overheidsuitgaven (IOO bv), Royal Haskoning en Van de Bunt Adviseurs voor organisatie en beleid. In de ontwikkeling en uitvoering zijn een aantal bekende valkuilen vermeden. Beide aspecten worden in dit artikel verder uitgewerkt.

Vergelijken en leren op vele dimensies
De benchmark rioleringszorg bevat een groot aantal variabelen, indicatoren (combinaties van variabelen) en kritische prestatie-indicatoren (combinaties van indicatoren) die geaggregeerd zijn in zes prestatieperspectieven. Deze prestatieperspectieven hebben betrekking op de organisatie van de rioleringszorg en op het presteren van het rioleringssysteem. De perspectieven zijn: toestand en functioneren, milieu-inspanning, uitgaven, organisatievermogen, overlast/klachten en gegevensbeheer.
Op het niveau van indicatoren, kritische prestatie-indicatoren en prestatieperspectieven kunnen de deelnemers zichzelf vergelijken. De verschillende invalshoeken maken de benchmark geschikt voor vele doelgroepen (bestuurders, uitvoerders, controllers e.d.).

Figuur 1 toont de score van de gemeente Rommeldam op een aantal kritische prestatie-indicatoren. Op grond van de relatieve scores en de onderlinge vergelijkingen gaan de deelnemers op zoek naar oorzaken om te kunnen leren van de benchmark. Voor het verklaren van de verschillen tussen de gemeenten en voor het bevorderen van de leerprocessen zijn tijdens de uitvoering van de benchmark intensieve workshops gehouden.

Zijn gemeenten vergelijkbaar?
Met behulp van vele omgevingsfactoren van een gemeente die door het gemeentebeleid niet of nauwelijks zijn te beïnvloeden, is onderzocht in welke mate deze factoren de benchmarkverschillen beïnvloeden. Deze omgevingsfactoren zijn bijvoorbeeld grondsoort, geografische kenmerken, aantal inwoners, bevolkingsdichtheid, aantal bedrijfsvestigingen, centrumfunctie et cetera. In de analyse zijn vijf typen gemeenten naar voren gekomen. Met deze typering – gebaseerd op een combinatie van grootte, bodemgesteldheid én type stelsel - wordt maar liefst 85% van de statistische spreiding in de omgevingsfactoren verklaard. De omgevingsfactoren verklaren in belangrijke mate de verschillen in de hoogte van het rioolrecht, de kapitaallasten per aansluiting, de beheerlasten per aansluiting en het activiteitenniveau.

Welke omgevingsfactoren verklaren verschillen?
Een aantal verschillen in prestatie-indicatoren wordt in belangrijke mate verklaard door omgevingsfactoren, die niet of nauwelijks door het beleid van de gemeente te beïnvloeden zijn. Inzicht in de betekenis van de omgevingsfactoren maakt het mogelijk de aandacht vooral te richten op de niet-omgevingsfactoren die de benchmarkverschillen beïnvloeden. Hierin kunnen de gemeenten vooral leren en verbeteringen realiseren. Aan de hand van de indicator ‘rioolrecht’ en de ‘beheerlasten’ worden de resultaten geïllustreerd.

Rioolrecht
Van de verschillen in rioolrecht kan 36% verklaard worden door de regio waar de gemeente is gevestigd (15%) en door het aantal mensen dat van buiten de regio dagelijks de gemeente bezoekt om te werken en te recreëren (21%). De relatie tussen ‘regio’ en ‘rioolrecht’ is gevonden omdat het rioolrecht van de deelnemende gemeenten in het oosten van het land duidelijk lager is dan van de gemeenten in de overige regio’s. Dat 36% van de verschillen in rioolrecht verklaard kan worden, betekent tegelijkertijd dat 64% verklaard wordt door het eigen beleid van de gemeenten (vroeger en nu), regelgeving, toeval, historie of door omgevingsfactoren die niet in de analyse zijn opgenomen.

Beheerlasten
De verschillen in de beheerlasten blijken per aansluiting voor 45% statistisch verklaard te worden uit drie factoren: het aantal meters riolering per aansluiting (32%), het aantal mensen uit buurtgemeenten dat dagelijks de gemeente bezoekt om te werken en te recreëren (6%) en de adressendichtheid van de omgeving (7%). De verschillen in beheerlasten per gemeente kunnen daarmee causaal redelijk goed verklaard worden. Voor 55% worden de verschillen vooral verklaard door de eigen keuzes van de gemeenten.

Op diverse andere prestatie-indicatoren worden de verschillen tussen de gemeenten opmerkelijk genoeg (nog) niet of nauwelijks verklaard door de omgevingsfactoren. In de verdere ontwikkeling van de benchmark rioleringszorg zal blijken of de inzichten en verklaringen op dit terrein kunnen verbeteren. Inzichten kunnen verbeteren door méér gemeenten bij de benchmark te betrekken (meer waarnemingen), door het verminderen van de meetfouten, door een betere typering en indeling van de gemeenten en door de uitwisseling van inzichten en verklaringen tussen gemeenten.

Hieronder wordt een vijftal valkuilen of randvoorwaarden gepresenteerd. Wanneer de valkuilen worden vermeden en aan de randvoorwaarden wordt voldaan, kan benchmarking succesvol worden ingezet om prestaties in de publieke sector te verbeteren.

Duidelijke én verschillende doelen
Normaal gesproken dient benchmarking om verantwoording af te leggen, om te bewijzen dat de publieke taak beter, doelmatiger en effectiever uitgevoerd kan worden, om toezicht te kunnen uitoefenen of om van elkaar te leren. Benchmarking is dan geen doel op zich, maar onderdeel van een proces. Toch kunnen deelnemers ook aan de benchmark meedoen omdat zij verplicht worden door de wethouder of omdat zij willen bewijzen dat zij op de goede weg zijn. Andere deelnemers willen de benchmarkresultaten gebruiken om aan te tonen dat men in een nadeliger positie zit dan andere gemeenten (te weinig personeel, te weinig middelen) om de taak uit te kunnen voeren. Het is van belang om tijdens de benchmarking intensief te blijven praten met de deelnemers over de doelen die zij nastreven. Op deze wijze kan de presentatie van de benchmarkresultaten toegesneden worden op de behoeften en worden teleurstellingen voorkomen.

Adequate indicatoren
De benchmarkonderzoeker in de publieke sector worstelt met de selectie van adequate indicatoren. Binnen de publieke sector zijn er minder eenduidige prestatie-indicatoren dan in het bedrijfsleven. Bovendien bestaat er binnen de publieke sector een minder langdurige traditie van benchmarken. Het initiatief van de VNG om allerlei prestatie-indicatoren van gemeenten in een databestand op te nemen, probeert hieraan tegemoet te komen. In de benchmark gemeentelijke rioleringszorg is er voor gekozen indicatoren te selecteren die dicht bij het primaire werkprocessen liggen (aantal inspecties en resultaten van inspecties, fysieke kenmerken van het stelsel, een planmatige aanpak van het beheer en het uitvoeren van de plannen e.d.). Tegelijkertijd zijn de resultaten van de benchmark daaardoor weer minder aansprekend voor de buitenwereld. In de doorontwikkeling van de benchmark wordt geprobeerd verdergaande verbeteringen aan te brengen.

Conceptuele visie op prestatie-indicatoren
Om op betekenisvolle wijze te kunnen leren en een verbeterstrategie te baseren op de benchmarkresultaten is het wenselijk dat de geselecteerde prestatie-indicatoren logisch samenhangen. Dit is bijvoorbeeld het geval als de indicatoren aansluiten bij de wijze waarop beleidsprestaties gerealiseerd worden: middelen (input), randvoorwaarden, uitvoering (throughput), prestaties (output) en maatschappelijke effecten (outcomes). Het verklaren van de verschillen is belangrijker dan het meten van verschillen. In de benchmark rioleringszorg zijn verbeteringen mogelijk om tot een meer inhoudelijke samenhang te komen van de geselecteerde indicatoren. De keuze van de indicatoren sluit tot nu toe sterk aan bij de primaire processen en houdt ook rekening met de gegevens die uit ander hoofde reeds bij de gemeenten aanwezig zijn.

Voldoende waarnemingen
Om verschillen te kunnen verklaren, is een voldoende aantal waarnemingen nodig. Aan de pilot van de benchmark rioleringszorg in 2003 hebben 39 gemeenten deelgenomen. Aan de meting in 2005 hebben 35 gemeenten deelgenomen, bestaande uit twee verschillende groepen: een groep van 20 nieuwe deelnemers en een groep van 15 deelnemers die al aan de pilot had deelgenomen en nu voor de tweede keer heeft meegedaan. Van de pilotgemeenten die niet in staat waren om hun gegevens te actualiseren, zijn de oude waarnemingen hergebruikt voor de analyse. Wel zijn daarbij alle geldbedragen met de prijsontwikkeling grond-, weg- en waterbouw op het niveau van 2005 gebracht. Door de benchmarkgegevens van de pilotdeelnemers toe te voegen aan die van de nieuwe deelnemers ontstaat voor analysedoeleinden de meest uitgebreide dataset met benchmarkgegevens. In totaal staan 74 waarnemingen van de rioleringszorg in 59 gemeenten ter beschikking. Die representeren 5,7 miljoen inwoners, 2,6 miljoen rioolaansluitingen en 28.000 kilometer riool. Deze 59 gemeenten zijn verantwoordelijk voor 45% van alle rioolaansluitingen in Nederland.

Ontwikkeling én doorontwikkeling
De ontwikkeling van een benchmark is nooit af. Door behaalde beleidsresultaten verliezen bepaalde indicatoren aan betekenis. Andere indicatoren kunnen door nieuwe regelgeving relevant worden. Ook kunnen de prestaties van de gemeenten, mede door de benchmark, naar elkaar toegroeien. Als dat het geval is, leveren de betreffende indicatoren geen verdere inzichten meer op. Kortom, lerend van de ervaringen, afhankelijk van de spreiding in de resultaten en de wensen van de gemeenten behoeft de ontwikkeling van een benchmark voortdurend aandacht.

Conclusies
Als aan een aantal randvoorwaarden is voldaan en als een aantal valkuilen worden vermeden, is benchmarking een zinvol instrument om publieke prestaties te kunnen verbeteren. Het voorbeeld van de benchmark gemeentelijke rioleringszorg van RIONED maakt duidelijk dat verschillende prestaties verklaard kunnen worden uit omgevingsfactoren en uit de eigen beleidskeuzes van gemeenten. De prestatieverschillen en de verklaring van de prestatieverschillen binnen de eigen beleidsruimte van de gemeente biedt de handvatten voor verbeterprocessen.

*Natasha Stroeker en Koos van Dijken zijn respectievelijk werkzaam als senior-onderzoeker en directeur van het Instituut voor Onderzoek van Overheidsuitgaven (IOO bv)

Rapporten:
Stichting RIONED: Benchmarking Rioleringszorg 2005; Samenvattend Rapport, Ede, 2005
Stichting RIONED: Het riool vergeleken; 39 gemeenten rioleren door benchmarking. Ede, 2003