Evalueren om te leren

Evalueren kan op allerlei manieren, de ene evaluatie is de andere niet. Dat onderzoek van beleid soms wordt gepresenteerd als een soort neutrale bezigheid versterkt dus een verkeerd beeld. Tijdens een evaluatie maak je constant keuzes en weeg je de verschillende belangen af. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook algemene keuzes die van te voren en tijdens een onderzoek gemaakt moeten worden. Die keuzes hebben te maken met het doel van het evalueren.

Je sluit aan bij de betrokkenheid die er al is

Als het doel van evalueren is om er beter van te worden, dan moet je aansluiten bij de mensen die het echte werk doen. Alleen zo respecteer je hun werk en vergroot je hun betrokkenheid. Daarnaast spelen ook betrokken leidinggevenden en allerlei adviseurs vaak een belangrijke rol. Met elkaar zijn dit de mensen van wie je wil dat ze verbeteringen gaan doorvoeren. Ook lang nadat het onderzoek gedaan is. Probeer je onderzoek daarom zoveel mogelijk te richten op hun toekomst.

Daarnaast kan geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. De ene keer is dit makkelijker te organiseren dan de andere. Maar er is altijd wel een manier om de gebruiker of de burger te betrekken.

Evalueren vanuit een dynamisch perspectief

Een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) levert meer betrokkenheid en waardevolle inzichten op dan een statische blik. Dynamisch evalueren betekent dat je aandacht geeft aan waar de organisatie vandaan komt. Daarnaast kijk je ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is niet bevorderlijk voor zelfreflectie. De reacties op zulke rapporten kosten organisaties vaak veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Je begint een evaluatie daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag? Hoe verhouden die zich tot elkaar?

Wat is ‘goed’ en wat niet? Je bent open over de normatieve kaders

Wanneer je wil dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat je als onderzoeker niet doet alsof slechts jij de waarheid in pacht hebt. Jou past, als passerende buitenstaander immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Je bescheidenheid krijgt vooral vorm in openheid over de normatieve kaders die je gebruikt. Want wat is ‘goed’ en wat niet? Het is belangrijk om kleur te bekennen en zorgvuldig in te gaan op de normatieve kaders die je gebruikt.

Je evalueert kritisch, maar zoekt ook naar wat wél werkt

Van goede voorbeelden leer je vaak meer dan van verkeerde. Het is daarom belangrijk om expliciet op zoek te gaan naar inspirerende voorbeelden en deze ook een plek te geven. Natuurlijk moet er ruimte zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. Je stelt kritische vragen en vraagt door, daarmee wil je mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking boven tafel krijgen. Je doet dat niet om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende overtuigingen van betrokkenen.

Erkenning van verschillen helpt verder bij het vergroten van de interesse in elkaars ervaringen. Door ervaringen vanuit verschillende perspectieven te delen gun je betrokkenen de mogelijkheid om eigen inzichten te ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseer je om ervan te kunnen leren

Bij het evalueren gericht op leren staan dus de ervaringen met het proces centraal. Je kijkt naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. Je analyseert op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijk je naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren. In het geval van klachtbehandeling bijvoorbeeld wordt er vaak vooral gekeken naar wettelijk vastgestelde termijnen. Maar als keer op keer blijkt dat die termijnen worden overschreden dan is het vaak veel interessanter om te begrijpen wat de overschrijding van zo’n termijn kan betekenen. In welke gevallen zijn de termijnen belangrijk voor de ervaring? Hoe kijken procesdeskundigen daar tegenaan? Welke factoren spelen (mogelijk) een rol bij de tijd die het kost om binnen de organisatie klachten af te handelen? Antwoorden op dit soort vragen bieden een organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën.

Je bent dichtbij én onafhankelijk

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voer je een evaluatieonderzoeken gericht op leren het liefst zo dicht mogelijk op de organisatie(s) uit. Je legt tussentijdse bevindingen zoveel mogelijk voor, bijvoorbeeld aan een interne begeleidingscommissie. Zo neem je ze mee in de aanpak en de uitkomst van het onderzoek. Je luistert naar de reacties die tussentijdse bevindingen en keuzes oproepen en laat commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Soms is er de angst dat dit ten koste gaat van je onafhankelijkheid. Dat hoeft niet zo te zijn. Als je helder bent over de reden waarom je je oor te luister wil leggen kun je je vervolgens nog altijd volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Het kan daarbij ook helpen om een externe leescommissie in te stellen, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt.

Aanbevelingen stel je op in dialoog

Bij evalueren gericht op leren is het proces van evalueren minstens net zo belangrijk als de uitkomst. Toch kunnen ook deze evaluaties baat hebben bij aanbevelingen, waarbij je wel voorzichtig moet zijn dat je niet met de aanbevelingen alles wat is opgebouwd weer teniet doet. Bij het opstellen van aanbevelingen zoek je nadrukkelijk de dialoog met verschillende gesprekspartners binnen de opdrachtgevende organisatie. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoeker probeer je hier op een open wijze en passend bij je specifieke rol een productieve invloed op uit te oefenen. Daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.