Trainen, meten en succes

Over het meten van het effect van trainingen

Door drs. R Vogels*

Begin van de jaren ’90 was er een omwenteling in tekstverwerking. WP werd vervangen door MS Word. De gehele afdeling Juridische Zaken van een groot Nederlands bedrijf volgde gedurende drie aaneengesloten dagen een MS Word-training. Intern brachten de medewerkers gemiddeld 250 gulden per uur in rekening voor de geleverde diensten. De training werd gegeven door een gerenommeerd bedrijf, door ervaren trainers met prima cursusmateriaal.

Over het effect van trainen en opleiden en trainen zijn de meningen tegengesteld. Er zijn supporters van trainingen en sceptici. De supporters zijn ervan overtuigd dat trainen hoe dan ook helpt. Zij vergelijken het met sporters die door veel trainen beter presteren. Hoe meer training hoe beter. Anderen vinden trainen tijdverspilling. Zij baseren hun oordeel op trainingstrajecten die geen aantoonbare resultaten hebben opgeleverd. Mensen moeten gewoon hun werk doen en tijdens het werkproces nieuwe vaardigheden opdoen. U kent misschien ook die leidinggevenden die zeggen: “Opleiding? Hebben we dan niet de goede mensen aangenomen?”.

Meer trainen = beter?

De trainingsideologen aarzelen niet over het rendement van training. Maar goed, dat is kenmerkend voor ideologie. Ideologen stellen zelden hun visie ter discussie. Bill Clinton verwoordde dit onlangs fraai: "The problem with ideology is if you got an ideology, you already got your mind made up, you know all the answers, and that makes evidence irrelevant and argument a waste of time, so you tend to govern by assertion and attack. The problem with that is that it discourages thinking and gives you bad results."

Het is logisch dat de sceptici de kosten van trainingen (te) hoog vinden. Naast externe kosten van trainingen is er immers ook verlies aan productieve dagen. Zij verwachten niet dat deze kosten worden goedgemaakt door effectiever opereren ná de training.

Is het rendement te meten?

Het rendement van trainingen meten is een wetenschap op zich. Jack Phillips heeft een heel bedrijf weten op te bouwen rond zijn 5 level methode, zonder meer een interessante methode. Nadeel is echter dat het meten zo complex wordt dat de training zelf wel erg veel rendement moet opleveren om uit de totale kosten te komen. De evaluatie volgens de 5 level methode heeft een geschat tijdsbeslag van 100 tot 166 dagen . De methode bestaat uit de volgende stappen:

Level 1: reactie en tevredenheid

Level 2: vaardigheids- en kennistesten

Level 3: toepassing in de praktijk

Level 4: impact analyse op de werkzaamheden

Level 5: kosten-batenanalyse

Het doel van de 5 level analyse is aan te tonen hoeveel geld er is verdiend door mensen naar een training te sturen. Dat is echter complex om te meten, zeker voor dienstverlenende beroepen die niet een concreet meetbare productie leveren. Bovendien zou er een referentiegroep moeten zijn die voldoet aan dezelfde startkenmerken maar niet naar de training gaat. Kortom: hoe ingenieus de 5 level methode is, in de praktijk blijkt hij voor de meeste organisaties niet bruikbaar.

Niet meten om het meten

Of de training effect heeft gehad, is vaak een kwestie van perceptie. Heeft de deelnemer het gevoel getrainde zaken te kunnen toepassen of dingen beter te kunnen? Percepties zijn nauwelijks vertaalbaar naar euro’s zoals in de 5 level aanpak de bedoeling is.

Over percepties kun men aangeven of ze positief of negatief zijn. Het effect van trainingen meten moet geen doel op zichzelf zijn. Het is nuttiger wanneer het als instrument aanwijzingen kan geven waar het proces van leren kan worden verbeterd.

Bij opleidingen spelen de leidinggevende, de trainer en de deelnemer een rol. Die rol verschilt per fase van de training en niet in iedere fase is iedereen even belangrijk. De combinatie van rollen en fase in het traject is in een schema weer te geven. Vaak wordt gedacht dat de kwaliteit van een training is terug te voeren op wat er tijdens de training gebeurt. Cruciaal is dus een goede trainer en de deelnemer moet goed opletten. Deskundigen denken echter dat het rendement van trainingen in belangrijke mate in handen is van de direct betrokken leidinggevenden en de trainer.

Terug naar de afdeling Juridische Zaken en de training voor MS Word

De training werd gegeven door een gerenommeerd bedrijf, door ervaren trainers met prima cursusmateriaal. De trainer wist echter niet wat de kenmerken van de betreffende groep cursisten waren: welke werkzaamheden zij deden, welke ervaring zij met computersystemen hadden. Zij kenden bijvoorbeeld het Windows besturingssysteem nog niet. Bij ‘thuiskomst’ werkten alle mensen van de afdeling minstens nog 6 maanden met het vertrouwde WP omdat de stijlen voor MS Word niet klaar waren en de nieuwe PC’s er nog niet waren. De kennis, opgedaan tijdens de training, was na die 6 maanden bijna bij iedereen verwaterd.

In dit voorbeeld zijn de fouten gemaakt die in veel trainingstrajecten voorkomen:

- er wordt een min of meer standaardtraining afgenomen

- de leidinggevenden hebben de training nauwelijks voorbereid

- de deelnemers kunnen het geleerde niet aansluitend op de training toepassen

Belang van rol en fase voor rendement opleidingen

	*Voorbereiding op de opleiding*	*Tijdens de opleiding*	*Na de opleiding*
De leidinggevende/het management
De opleider/trainer
De trainingsdeelnemer

Legenda bij figuur: hoe meer bolletjes, hoe groter het belang

Het meten van het effect van trainingen moet dus een antwoord kunnen geven op de vraag of de verschillende spelers in het traject hun rol goed hebben ingevuld. Pas dan is het mogelijk bij eventuele volgende trainingen zaken te verbeteren.

Bewijs wordt geleverd in de praktijk

Stratus verzorgt al sinds 1997 de trainingsevaluaties voor een internationaal opererend opleidingsinstituut. Daaruit is een database ontstaan met bijna 8.500 deelnemers aan trainingen van 332 verschillende organisaties uit 12 landen. In totaal zijn er 800 trainingsgroepen geëvalueerd. De evaluatie is zo opgezet dat over bijna alle rol/fase combinaties zaken meetbaar zijn gemaakt. Er wordt gevraagd waarom men een training volgde, hoe men denkt over het rendement van de training en, indien van toepassing, of men het succes van de training kan toelichten met een concreet voorbeeld. De evaluatie gaat daarmee verder dan de reguliere ‘happyness rating’ waarmee de meeste trainingen afsluiten. Bij alle groepen zijn steeds de deelnemers én hun leidinggevenden ondervraagd. De 5 levels worden hierdoor voor een belangrijk deel afgedekt. Alleen de vertaling naar rendement in euro’s blijft achterwege.

De database leert ons dat het rendement van een training goed is te voorspellen op grond van slechts enkele vragen. Als mensen gestuurd worden, daalt de motivatie om van de training iets moois te maken onmiddellijk. Deze deelnemers geven zelden aan dat ze iets geleerd hebben of dat ze iets in de praktijk hebben kunnen gebruiken. Ze zijn vaak ontevreden en zeggen dat de kosten zeker niet opwegen tegen de baten.

Verschil in scores tussen mensen met een goede voorbereiding op de training en een goede ondersteuning achteraf

	Waarom deelnemer aan deze training?		Steun leidinggevende na de trainingsdagen
	In kader van nieuwe functie	Ik ben gestuurd	Goede steun	Geen steun
Tevredenheid over training
score goed, zeer goed of uitstekend	84%	75%	91%	79%
Baten hoger dan kosten
hoger of veel hoger	72%	58%	76%	59%
Succes behaald dankzij deze training?
deelnemer kan concreet voorbeeld noemen	85%	82%	84%	80%

De lessen uit deze evaluaties zijn goed te vertalen naar concrete acties. Slechts een enkele keer is het voorgekomen dat een training slecht is bevallen omdat de trainer zijn werk niet goed deed. Alle andere keren waarbij een training niet tot een goed resultaat leidde was er veel kritiek over de voorbereiding van de training of de steun achteraf. Deelnemers wisten niet goed waarom juist zij aan deze training moesten deelnemen; ‘doe ik het nu niet goed dan?’ Een trainer krijgt dan te maken met veel weerstand in de eerste trainingsdagen, kostbare tijd gaat verloren. Het komt ook voor dat mensen wel naar een training gaan maar voorafgaand met een enorme hoeveelheid regulier werk worden overladen: ‘lastig dat je er morgen niet bent…’

Na de training gaat het mis doordat mensen nog niet mogen starten in hun nieuwe functie of met hun nieuwe taken. Bij ‘thuiskomst’ vallen ze dan snel weer in de dagelijkse routine terug en kunnen ze het geleerde niet in praktijk brengen.

De evaluatie van de beroepsopleiding van de Nederlandse Orde van Advocaten bijvoorbeeld liet het volgende zien: Advocaten die niet tevreden zijn over de beroepsopleiding hebben vaak te maken met een patroon die de jonge advocaat niet de gelegenheid geeft zich goed voor te bereiden op de opleidingsdagen. De patroon blijkt hen niet of nauwelijks begeleiding te geven in de dagelijkse praktijk, of erger nog, binnen het kantoor dingen te verkondigen die haaks staan op wat tijdens de opleidingsdagen wordt geleerd.

Hebben die mensen die geloven in het nut van trainingen dan ongelijk? Neen, de overeenkomst met sport gaat wel degelijk op bij kennis- en vaardigheidstrainingen. Maar de trainingen hebben pas zin als het getrainde ook kan en mag worden toegepast Sporters trainen voor een wedstrijd en hebben ook een coach die kan bijsturen en helpen. In professionele organisatie moet hetzelfde gelden. De leidinggevende is de coach en moet zich verdiepen in wat er tijdens de opleiding is behandeld. De ‘spelers’ mogen na de training onder begeleiding van de coach in een echte situatie oefenen. Alleen dan heeft een training zin. Anders is het: Liever geen training of opleiding!

* René Vogels is accountmanager bij Stratus Marktonderzoek

Bronnen:

Speech van Bill Clinton van medio oktober bij de Georgetown University, zie ook http://www.presentationzen.com/

Jack Pillips e.a. Resources needed to make evaluation work, ASTD press book Make Training Evaluation Work, 2004

Location http://www.basis-online.nl/index.cfm/1,106,317,0,html

Zoeken op trefwoord

Trainen, meten en succes