De ene evaluatie is de andere niet. Het kan op zoveel manieren.  Onderzoeken of evalueren van beleid wordt te vaak gepresenteerd als een soort neutrale bezigheid. Terwijl je tijdens een evaluatie constant keuzes maakt en belangen afweegt. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook algemene keuzes die van te voren en tijdens een onderzoek gemaakt moeten worden. Die keuzes hebben te maken met het doel van de evaluatie.

Onze evaluaties zijn gericht op het leren of verbeteren. In dit artikel laten we zien wat voor keuzes daar volgens ons bij horen. Onze evaluatie van de klachtbehandeling bij Defensie gebruiken we ter illustratie.

Je sluit aan bij de betrokkenheid die er al is

Als het doel van evalueren is om er beter van te worden, dan moet je aansluiten bij de mensen die het echte werk doen. Alleen zo respecteer en vergroot je hun betrokkenheid. In het geval van klachtenbehandeling zijn dat dan in de eerste plaats de mensen die klachten behandelen. Daarnaast spelen ook betrokken leidinggevenden en allerlei adviseurs een belangrijke rol. Met elkaar zijn dit de mensen van wie je wil dat ze verbeteringen gaan doorvoeren. Ook lang nadat wij als onderzoekers ons rapport hebben opgeleverd. Daarom proberen we ons in onze onderzoeken zoveel mogelijk te richten op hun toekomst.

Daarnaast kan geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. De ene keer is dit makkelijker te organiseren dan de andere. Maar er is altijd wel een manier om de gebruiker of de burger te betrekken. In dit geval waren dat de klagers en beklaagden bij Defensie. We spraken een groot aantal, we analyseerden hun ervaringen en we gaven ze (letterlijk) een grote stem in het rapport.

Je kiest een dynamisch perspectief

Het is onze ervaring dat een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) meer betrokkenheid en waardevolle inzichten oplevert. Dynamisch evalueren betekent dat je aandacht geeft aan waar de organisatie vandaan komt. Daarnaast kijk je ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is niet bevorderlijk voor zelfreflectie. De reacties op zulke rapporten kosten een organisatie veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Je begint een evaluatie daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag? Hoe verhouden die zich tot elkaar? In de evaluatie van de klachtbehandeling bij Defensie gingen we hier in het eerste hoofdstuk nadrukkelijk op in.

Wat is ‘goed’ en wat niet? Je bent open over de normatieve kaders

Wanneer je wil dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat je als onderzoeker niet doet alsof slechts wij de waarheid in pacht hebben. Ons past, als passerende buitenstaanders immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Je bescheidenheid krijgt vooral vorm in openheid over de normatieve kaders die je gebruikt. Want wat is ‘goed’ en wat niet? Het is belangrijk om kleur te bekennen en zorgvuldig in te gaan op de normatieve kaders die je gebruikt.

In het evaluatierapport voor Defensie schreven we: “Met zoveel verschillende perspectieven op klachtbehandeling zijn er ook verschillende ideeën over wat klachtbehandeling ‘goed’ maakt. Ook de vraag of Defensie een probleem heeft met klachtbehandeling en zo ja, hoe groot dit probleem is, kan beantwoord worden vanuit verschillende normatieve kaders. Er zijn veel manieren waarop klachtbehandeling ‘goed’ kan verlopen: variatie ontstaat door verschillende doelen, contexten en mensen. Er is dan ook niet een vaststaand evaluatieprotocol dat door middel van een vinklijstje simpel afgewerkt kan worden. Tegelijkertijd zijn er natuurlijk wel degelijk ideeën over wat wel en niet werkt en wat een goede, of zorgvuldige klachtbehandeling zou moeten inhouden. We onderscheiden in dit onderzoek drie normatieve kaders die elkaar deels kunnen overlappen: beleidstheorie Defensie; ombudsvisie professionele klachtbehandeling; onafhankelijke geïnformeerde blik van evaluatoren’. Vervolgens gingen we op elk van deze kaders dieper in.

Je bent kritisch, maar zoekt ook naar wat wél werkt

Van goede voorbeelden leer je vaak meer dan van verkeerde. Het is daarom belangrijk om expliciet op zoek te gaan naar inspirerende voorbeelden en deze ook een plek te geven. Natuurlijk moet er ook ruimte zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. Je stelt kritische vragen en vraagt door. Daarmee wil je mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking boven tafel krijgen. Je doet dat niet om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende overtuigingen van betrokkenen.

Erkenning van verschillen helpt bij het vergroten van de interesse in elkaars ervaringen. In het geval van de evaluatie bij defensie gaven we bijvoorbeeld veel aandacht aan de ervaringen van klagers en beklaagden, maar ook aan de leidinggevenden en de verschillende adviseurs met een belangrijke ondersteunende rol. Door deze ervaringen te delen gun je betrokkenen de mogelijkheid om eigen inzichten te ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseer je om ervan te kunnen leren

In evaluaties gericht op leren staan dus de ervaringen met het proces centraal. Je kijkt naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. Je analyseert op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijk je naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren. In het geval van klachtbehandeling wordt er dan bijvoorbeeld vooral gekeken naar de wettelijk vastgestelde termijnen.

In het geval van Defensie was er in eerdere rapporten (zoals die van de Nationale ombudsman/Veteranenombudsman en van de commissie-Giebels) al meerdere malen geconstateerd dat die binnen Defensie vaak werden overschreden. Als je de nadruk wil leggen op het leren wordt het dan al gauw interessanter om te begrijpen wat de overschrijding van zo’n termijn kan betekenen. In welke gevallen zijn de termijnen belangrijk voor de ervaring? Hoe kijken procesdeskundigen daar tegenaan? Welke factoren spelen (mogelijk) een rol bij de tijd die het kost om binnen de organisatie klachten af te handelen? Antwoorden op dit soort vragen bieden een organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën. Een evaluatie gericht op leren streeft naar representativiteit op het niveau van factoren die van invloed zijn op de ervaring van klachtbehandeling. Niet op het niveau van het proces.

Je bent dichtbij én onafhankelijk

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voer je een evaluatieonderzoeken gericht op leren het liefst zo dicht mogelijk op de organisatie(s) uit. Je legt tussentijdse bevindingen zoveel mogelijk voor aan bijvoorbeeld een interne begeleidingscommissie. Zo neem je ze mee in de aanpak en de uitkomst van het onderzoek. Je luistert naar de reacties die tussentijdse bevindingen en keuzes oproepen en laat commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Soms is er de angst dat dit ten koste gaat van je onafhankelijkheid. Dat hoeft niet zo te zijn. Als je helder bent over de reden waarom je je oor te luister wil leggen kun je je vervolgens nog altijd volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Het kan daarbij ook helpen om een externe leescommissie in te stellen, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt.

In het geval van de evaluatie bij Defensie hielpen zowel de begeleidingscommissie als de externe leescommissie ons met onze reflectie op het proces en de inhoud. Het sterkt je in je onafhankelijkheid ten opzichte van je opdrachtgever.

Aanbevelingen stel je op in dialoog

Ook bij het opstellen van aanbevelingen zoek je nadrukkelijk de dialoog met verschillende gesprekspartners binnen de opdrachtgevende organisatie. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het vervolgens altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoeker probeer je hier op een open wijze en passend bij je specifieke rol een productieve invloed op uit te oefenen. Daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.