Evalueren kan op zoveel manieren. De ene evaluatie is de andere niet. Het doen van onderzoek of het evalueren van beleid wordt nog al te vaak gepresenteerd als een soort neutrale bezigheden. Terwijl het  processen zijn waarin constant keuzes worden gemaakt en belangen worden afgewogen. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook keuzes die van te voren en gedurende het onderzoek gemaakt moeten worden. Om binnen de, vaak complexe context, zoveel mogelijk waarde te kunnen toevoegen. Die keuzes hebben vaak te maken met het doel van de evaluatie. Onze evaluaties zijn vaak gericht op het leren of verbeteren. In dit artikel laten we zien wat voor keuzes daar volgens ons zoal bijhoren. Onze evaluatie van de klachtbehandeling bij Defensie gebruiken we hierbij als een voorbeeld

Aansluiten bij betrokkenheid

Als het doel van evalueren is om er beter van te worden, dan moet je aan sluiten bij de mensen die het echte werk doen. Alleen zo respecteer en vergroot je hun betrokkenheid. In het geval van klachtenbehandeling zijn dat dan bijvoorbeeld: de mensen die klachten behandelen. Maar ook de mensen die klagers, beklaagden of betrokken leidinggevenden bijstaan of adviseren. Zij zijn immers degenen die de verbeteringen daadwerkelijk doorvoeren. Ook lang nadat de onderzoekers hun rapport hebben opgeleverd. Deze insteek heeft belangrijke consequenties voor hoe onze evaluatieonderzoeken worden opgezet. Ze zijn toekomstgerichtheid en met aandacht voor de belangen en waarden van de betrokkenen en de organisatie.

Daarnaast kan uiteraard geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. In dit geval waren dat de klagers en beklaagden bij Defensie.

Een dynamisch perspectief

Het is onze ervaring dat een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) meer betrokkenheid en waardevolle inzichten oplevert. Dynamisch evalueren betekent dat we aandacht geven aan waar de organisatie vandaan komt. Maar we kijken daarnaast ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is meestal niet bevordelijk voor de zelfreflectie. Zulke reacties kosten een organisatie veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Wij beginnen evaluaties daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag en hoe verhouden die zich tot elkaar?

Wat is ‘goed’ en wat niet?

Wanneer we hopen dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat we als onderzoekers niet doen alsof slechts wij de waarheid in pacht hebben. Ons past, als passerende buitenstaanders immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Wat ons betreft krijgt onze bescheidenheid vooral vorm in openheid over de normatieve kaders die we gebruiken. Wat wat is ‘goed’ en wat niet? Wij vinden het belangrijk om kleur te bekennen en zorgvuldig in te gaan op het door ons gebruikte normatieve kaders.

Openheid over de normatieve kaders

Zo schreven we in het evaluatierapport voor Defensie: “Met zoveel verschillende perspectieven op klachtbehandeling zijn er ook verschillende ideeën over wat klachtbehandeling ‘goed’ maakt. Ook de vraag of Defensie een probleem heeft met klachtbehandeling en zo ja, hoe groot dit probleem is, kan beantwoord worden vanuit verschillende normatieve kaders. Er zijn veel manieren waarop klachtbehandeling ‘goed’ kan verlopen: variatie ontstaat door verschillende doelen, contexten en mensen. Er is dan ook niet een vaststaand evaluatieprotocol dat door middel van een vinklijstje simpel afgewerkt kan worden. Tegelijkertijd zijn er natuurlijk wel degelijk ideeën over wat wel en niet werkt en wat een goede, of zorgvuldige klachtbehandeling zou moeten inhouden. We onderscheiden in dit onderzoek drie normatieve kaders die elkaar deels kunnen overlappen:

  • beleidstheorie Defensie;
  • ombudsvisie professionele klachtbehandeling;
  • onafhankelijke geïnformeerde blik van evaluatoren

Een eerste normatief kader komt voort uit de verwachtingen en ideeën die binnen het ministerie leven over een ‘goede klachtbehandeling’. Wat verstaat het ministerie onder goede klachtbehandeling, waar wordt in de regeling en in relevante beleidsdocumenten de nadruk op gelegd en wat zegt het ministerie te willen bieden aan potentiële klagers en beklaagden? Dit kader is door documentstudie en door (groeps)gesprekken met sleutelfiguren geëxpliciteerd in een zogenaamde ‘reconstructie van de beleidstheorie’.
Als tweede kader dienen de rapporten van de Nationale ombudsman/Veteranenombudsman, inclusief zijn Ombudsvisie op professionele klachtbehandeling. In deze ombudsvisie geeft de Nationale ombudsman verschillende handvatten voor klachtbehandeling door overheidsinstanties.
Ten slotte vormt de onafhankelijke blik van ons, de evaluatoren, een derde kader. Dit kader is gevormd door wetenschappelijke inzichten over klachtbehandeling, inzichten uit de conflicthantering, theorievorming over vormen van rechtvaardigheid (ervaren procedurele rechtvaardigheid en distributieve rechtvaardigheid) en inzichten over leren en lerende organisaties. Daarnaast worden in dit kader de verwachtingen van klagers en beklaagden in de praktijk meegenomen. Hun ideeën over hoe een goede klachtbehandeling eruit zou moeten zien, vormen evengoed een zinvol normatief kader. Waar mogelijk expliciteren we de verschillende normatieve kaders om mogelijke interpretaties duidelijk te maken en de lezer de ruimte te geven voor eigen oordeelsvorming.”

Kritisch, en met oog voor wat wél werkt

Van goede voorbeelden leert men vaak meer dan van verkeerde. Wij kiezen er daarom vaak voor om expliciet te zoeken naar inspirerende voorbeelden en deze ook een plek te geven. Dat laat onverlet dat er ook ruimte moet zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. We stellen kritische vragen en vragen door. Vaak met de bedoeling om mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking aan te wijzen. Niet met als doel om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende waarheden van betrokkenen.

Erkenning van verschillen helpt bij het vergroten van de interesse in elkaars ervaringen. In het geval van onze evaluatie bij defensie gaven we bijvoorbeeld veel aandacht aan de ervaringen van klagers en beklaagden, maar ook aan de leidinggevenden en de verschillende adviseurs met een belangrijke ondersteunende rol. Het doel van het delen van deze ervaringen is dat betrokkenen eigen inzichten kunnen ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseren

In onze evaluaties staan dus vaak de ervaringen met het proces centraal. Wij kijken naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. We analyseren op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijken we naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren, waarbij er in het geval van klachtbehandeling bijvoorbeeld vooral wordt gekeken naar de wettelijk vastgestelde termijnen binnen de klachtbehandeling en in hoeverre deze zijn gehaald of overschreden.

In het geval van Defensie was er in eerdere rapporten (zoals die van de Nationale ombudsman/Veteranenombudsman en van de commissie-Giebels) al meerdere malen geconstateerd dat die binnen Defensie vaak werden overschreden. Het wordt dan bijvoorbeeld interessanter om te begrijpen wat de overschrijding van een termijn kan betekenen voor ervaringsdeskundigen, hoe procesdeskundigen ertegenaan kijken en welke factoren (mogelijk) een rol spelen bij de tijd die het kost om binnen Defensie klachten af te handelen. Deze antwoorden bieden de organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën. Zo een evaluatie streeft daarmee naar representativiteit op het niveau van factoren die van invloed zijn op de ervaring van klachtbehandeling. Niet op het niveau van het proces.

Onafhankelijk én dichtbij

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voeren we onze evaluatieonderzoeken het liefst zo dicht mogelijk op de organisatie(s) uit. We leggen tussentijdse bevindingen zoveel mogelijk voor aan bijvoorbeeld een interne begeleidingscommissie, om hen mee te nemen in de aanpak en de uitkomst van het onderzoek. We luisteren naar de reacties die tussentijdse bevindingen en keuzes oproepen en laten commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Dat laat onverlet dat we ons volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Overigens kiezen we daarnaast ook graag voor de installatie van een externe leescommissie, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt. Dit helpt ons te reflecteren op het proces en de inhoud en kan ons, waar nodig, sterken in onze onafhankelijkheid ten opzichte van de opdrachtgever.

Aanbevelingen in dialoog opgesteld

Ook bij het opstellen van aanbevelingen zoeken we nadrukkelijk de dialoog met verschillende gesprekspartners binnen de organisatie. Zo gaf Defensie vanaf de start van het onderzoek aan op zoek te zijn naar handelingsperspectieven om de klachtbehandeling te verbeteren en te kunnen leren. Daarom gaven we in onze rapportage inzicht in de ervaringen van de ‘deelnemers’ in de klachtenprocedure. We lieten zien waar het schuurt en waar de verschillende perspectieven elkaar, in positieve en negatieve zin, versterken. In de aanbevelingen richtten we ons vooral op de vraag hoe deze perspectieven beter op elkaar zouden kunnen gaan aansluiten en onderstreepten we de urgentie daarvan. We zagen ook af van bepaalde aanbevelingen waarvan we dachten dat die de aandacht af zouden leiden van de belangrijkste zaken. Zo gaven we expliciet aan dat we dachten dat een procedurewijziging onnodig was en onproductief zou kunnen uitpakken. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het vervolgens altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoekers proberen wij hier op een open wijze en passend bij onze specifieke rol een productieve invloed op uit te oefenen: daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.