Evalueren kan op zoveel manieren. De ene evaluatie is de andere niet. Het doen van onderzoek of het evalueren van beleid wordt nog al te vaak gepresenteerd als een soort neutrale bezigheden. Terwijl het  processen zijn waarin constant keuzes worden gemaakt en belangen worden afgewogen. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook keuzes die van te voren en gedurende het onderzoek gemaakt moeten worden. Om binnen de, vaak complexe context, zoveel mogelijk waarde te kunnen toevoegen. Die keuzes hebben vaak te maken met het doel van de evaluatie. Onze evaluaties zijn vaak gericht op het leren of verbeteren. In dit artikel laten we zien wat voor keuzes daar volgens ons zoal bijhoren. Onze evaluatie van de klachtbehandeling bij Defensie gebruiken we hierbij als een voorbeeld

Aansluiten bij betrokkenheid

Als het doel van evalueren is om er beter van te worden, dan moet je aan sluiten bij de mensen die het echte werk doen. Alleen zo respecteer en vergroot je hun betrokkenheid. In het geval van klachtenbehandeling zijn dat dan bijvoorbeeld: de mensen die klachten behandelen. Maar ook de mensen die klagers, beklaagden of betrokken leidinggevenden bijstaan of adviseren. Zij zijn immers degenen die de verbeteringen daadwerkelijk doorvoeren. Ook lang nadat de onderzoekers hun rapport hebben opgeleverd. Deze insteek heeft belangrijke consequenties voor hoe onze evaluatieonderzoeken worden opgezet. Ze zijn toekomstgerichtheid en met aandacht voor de belangen en waarden van de betrokkenen en de organisatie.

Daarnaast kan uiteraard geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. In dit geval waren dat de klagers en beklaagden bij Defensie.

Een dynamisch perspectief

Het is onze ervaring dat een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) meer betrokkenheid en waardevolle inzichten oplevert. Dynamisch evalueren betekent dat we aandacht geven aan waar de organisatie vandaan komt. Maar we kijken daarnaast ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is meestal niet bevordelijk voor de zelfreflectie. Zulke reacties kosten een organisatie veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Wij beginnen evaluaties daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag en hoe verhouden die zich tot elkaar?

Wat is ‘goed’ en wat niet?

Wanneer we hopen dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat we als onderzoekers niet doen alsof slechts wij de waarheid in pacht hebben. Ons past, als passerende buitenstaanders immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Wat ons betreft krijgt onze bescheidenheid vooral vorm in openheid over de normatieve kaders die we gebruiken. Wat wat is ‘goed’ en wat niet? Wij vinden het belangrijk om kleur te bekennen en zorgvuldig in te gaan op het door ons gebruikte normatieve kaders.

Openheid over de normatieve kaders

Zo schreven we in het evaluatierapport voor Defensie: “Met zoveel verschillende perspectieven op klachtbehandeling zijn er ook verschillende ideeën over wat klachtbehandeling ‘goed’ maakt. Ook de vraag of Defensie een probleem heeft met klachtbehandeling en zo ja, hoe groot dit probleem is, kan beantwoord worden vanuit verschillende normatieve kaders. Er zijn veel manieren waarop klachtbehandeling ‘goed’ kan verlopen: variatie ontstaat door verschillende doelen, contexten en mensen. Er is dan ook niet een vaststaand evaluatieprotocol dat door middel van een vinklijstje simpel afgewerkt kan worden. Tegelijkertijd zijn er natuurlijk wel degelijk ideeën over wat wel en niet werkt en wat een goede, of zorgvuldige klachtbehandeling zou moeten inhouden. We onderscheiden in dit onderzoek drie normatieve kaders die elkaar deels kunnen overlappen:

  • beleidstheorie Defensie;
  • ombudsvisie professionele klachtbehandeling;
  • onafhankelijke geïnformeerde blik van evaluatoren

Een eerste normatief kader komt voort uit de verwachtingen en ideeën die binnen het ministerie leven over een ‘goede klachtbehandeling’. Wat verstaat het ministerie onder goede klachtbehandeling, waar wordt in de regeling en in relevante beleidsdocumenten de nadruk op gelegd en wat zegt het ministerie te willen bieden aan potentiële klagers en beklaagden? Dit kader is door documentstudie en door (groeps)gesprekken met sleutelfiguren geëxpliciteerd in een zogenaamde ‘reconstructie van de beleidstheorie’.
Als tweede kader dienen de rapporten van de Nationale ombudsman/Veteranenombudsman, inclusief zijn Ombudsvisie op professionele klachtbehandeling. In deze ombudsvisie geeft de Nationale ombudsman verschillende handvatten voor klachtbehandeling door overheidsinstanties.
Ten slotte vormt de onafhankelijke blik van ons, de evaluatoren, een derde kader. Dit kader is gevormd door wetenschappelijke inzichten over klachtbehandeling, inzichten uit de conflicthantering, theorievorming over vormen van rechtvaardigheid (ervaren procedurele rechtvaardigheid en distributieve rechtvaardigheid) en inzichten over leren en lerende organisaties. Daarnaast worden in dit kader de verwachtingen van klagers en beklaagden in de praktijk meegenomen. Hun ideeën over hoe een goede klachtbehandeling eruit zou moeten zien, vormen evengoed een zinvol normatief kader. Waar mogelijk expliciteren we de verschillende normatieve kaders om mogelijke interpretaties duidelijk te maken en de lezer de ruimte te geven voor eigen oordeelsvorming.”

Kritisch, en met oog voor wat wél werkt

Van goede voorbeelden leert men vaak meer dan van verkeerde. Wij kiezen er daarom vaak voor om expliciet te zoeken naar inspirerende voorbeelden en deze ook een plek te geven. Dat laat onverlet dat er ook ruimte moet zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. We stellen kritische vragen en vragen door. Vaak met de bedoeling om mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking aan te wijzen. Niet met als doel om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende waarheden van betrokkenen.

Erkenning van verschillen helpt bij het vergroten van de interesse in elkaars ervaringen. In het geval van onze evaluatie bij defensie gaven we bijvoorbeeld veel aandacht aan de ervaringen van klagers en beklaagden, maar ook aan de leidinggevenden en de verschillende adviseurs met een belangrijke ondersteunende rol. Het doel van het delen van deze ervaringen is dat betrokkenen eigen inzichten kunnen ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseren

In onze evaluaties staan dus vaak de ervaringen met het proces centraal. Wij kijken naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. We analyseren op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijken we naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren, waarbij er in het geval van klachtbehandeling bijvoorbeeld vooral wordt gekeken naar de wettelijk vastgestelde termijnen binnen de klachtbehandeling en in hoeverre deze zijn gehaald of overschreden.

In het geval van Defensie was er in eerdere rapporten (zoals die van de Nationale ombudsman/Veteranenombudsman en van de commissie-Giebels) al meerdere malen geconstateerd dat die binnen Defensie vaak werden overschreden. Het wordt dan bijvoorbeeld interessanter om te begrijpen wat de overschrijding van een termijn kan betekenen voor ervaringsdeskundigen, hoe procesdeskundigen ertegenaan kijken en welke factoren (mogelijk) een rol spelen bij de tijd die het kost om binnen Defensie klachten af te handelen. Deze antwoorden bieden de organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën. Zo een evaluatie streeft daarmee naar representativiteit op het niveau van factoren die van invloed zijn op de ervaring van klachtbehandeling. Niet op het niveau van het proces.

Onafhankelijk én dichtbij

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voeren we onze evaluatieonderzoeken het liefst zo dicht mogelijk op de organisatie(s) uit. We leggen tussentijdse bevindingen zoveel mogelijk voor aan bijvoorbeeld een interne begeleidingscommissie, om hen mee te nemen in de aanpak en de uitkomst van het onderzoek. We luisteren naar de reacties die tussentijdse bevindingen en keuzes oproepen en laten commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Dat laat onverlet dat we ons volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Overigens kiezen we daarnaast ook graag voor de installatie van een externe leescommissie, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt. Dit helpt ons te reflecteren op het proces en de inhoud en kan ons, waar nodig, sterken in onze onafhankelijkheid ten opzichte van de opdrachtgever.

Aanbevelingen in dialoog opgesteld

Ook bij het opstellen van aanbevelingen zoeken we nadrukkelijk de dialoog met verschillende gesprekspartners binnen de organisatie. Zo gaf Defensie vanaf de start van het onderzoek aan op zoek te zijn naar handelingsperspectieven om de klachtbehandeling te verbeteren en te kunnen leren. Daarom gaven we in onze rapportage inzicht in de ervaringen van de ‘deelnemers’ in de klachtenprocedure. We lieten zien waar het schuurt en waar de verschillende perspectieven elkaar, in positieve en negatieve zin, versterken. In de aanbevelingen richtten we ons vooral op de vraag hoe deze perspectieven beter op elkaar zouden kunnen gaan aansluiten en onderstreepten we de urgentie daarvan. We zagen ook af van bepaalde aanbevelingen waarvan we dachten dat die de aandacht af zouden leiden van de belangrijkste zaken. Zo gaven we expliciet aan dat we dachten dat een procedurewijziging onnodig was en onproductief zou kunnen uitpakken. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het vervolgens altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoekers proberen wij hier op een open wijze en passend bij onze specifieke rol een productieve invloed op uit te oefenen: daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.

 

 

 

 

 

Wat bedoel jij met effect?

Wat bedoel jij met effect?

Het valt ons op dat er nog wel eens langs elkaar heen wordt gesproken wanneer het in een organisatie gaat om effect. De een heeft het vooral over het meten van effect. De ander meer over de vraag wat zin heeft. Een derde wil vooral weten wat er gedaan moet worden.

Ook zijn er verschillende ideeën over waar naar gekeken zou moeten worden: De een kijkt bijvoorbeeld naar een deel van het proces, terwijl de ander misschien vooral wil kijken naar het eindresultaat. De een is benieuwd naar de korte, de ander naar de langere termijn. En de een wil vooral focussen op het merkbare en de ander houdt het liever bij het meetbare.

Duidelijkheid is een belangrijke voorwaarde

In effectonderzoek is het allereerst belangrijk dat je met elkaar duidelijkheid hebt over waarom je het eigenlijk over effect wil hebben. Pas daarna kun je zinnig gaan nadenken over hoe dat er dan uit zou moeten komen te zien. Eerder al schreven we deze blog over hoe het onderzoeken van effect om maatwerk vraagt. Nu hebben we, op basis van jullie opmerkingen en reflecties ook een opzet gemaakt voor een praatplaat: “Wat bedoel jij met effect?”. Zie het bijgevoegde document.

Wat bedoel jij met effect?

Wat bedoel jij met effect (Download pdf)

De plaat en de bijbehorende vragen (zie de pdf) zijn nog work-in-progress. We gaan er binnenkort weer verder over gesprek in één van de deelnemende inspecties aan ‘Inspecteurs over hun vak’

Wat denkt u: Zou iets als het bijgevoegde kunnen helpen om zo’n gesprek met elkaar te voeren? Wat zou er wel of niet goed kunnen werken? Mist er iets, of brengt dit op andere ideeën? Bijvoorbeeld voor een andere fase in het gesprek over, of het in kaart brengen van, effect? Wij vinden het vooral belangrijk dat het gesprek hierover op een zinnige manier gevoerd wordt. Professionals, zo is onze indruk, verliezen eigenaarschap en betrokkenheid wanneer er teveel langs elkaar heen wordt gepraat.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Onderzoeksproces

“Wat is de definitie van ‘professionaliseren’? We kunnen toch niet zomaar onze eigen definitie gebruiken?”

Er is een bepaald beeld van wat onderzoek is. Dat geldt in het algemeen maar heeft ook zijn weerslag op onderzoek in de publieke sector. Veel van ons hebben over dit soort onderzoek geleerd als ‘de gouden standaard’ of écht onderzoek. Op allerlei manieren beïnvloedt dit beeld van ‘echt onderzoek’ hoe we kijken naar andere dingen. Zoals naar wie het voor het zeggen heeft, wanneer, en waarom.

Die dominante visie is ons ooit aangeleerd, maar wordt daarnaast dagelijks bevestigd en herhaald. In de krant, op het werk en in de tweede kamer, overal.

Terwijl de publieke sector juist ook een andere vorm van onderzoek nodig heeft.

Dat er ook andere ideeën zijn is lang niet bij iedereen bekend. Lang niet iedereen weet bijvoorbeeld dat die ideeën in andere, minder bekende hoeken van de wetenschap uitgebreid zijn doordacht. (Bijvoorbeeld in de antropologie, in gender studies, of in de wetenschapsfilosofie). Ook is lang niet iedereen op de hoogte van wat die verschillende ideeën in de praktijk voor consequenties kunnen hebben.

Het dominante beeld van onderzoek

Wij merken dagelijks hoe sterk dat dominante beeld is. Hoeveel invloed het heeft, ook op onderzoek in de publieke sector. We zien het bijvoorbeeld aan hoe er alsmaar wordt gezocht naar experts. Bijvoorbeeld om van te leren wat de definitie van ‘professionaliseren’ is. Maar het is ook te merken wanneer het gaat over hoe effecten pas echt zijn als ze gemeten, niet opgemerkt, worden. Of wanneer er weer verwacht wordt dat onderzoek ons universele waarheden zal vertellen. Terwijl we tegelijkertijd ook horen dat het altijd in de la verdwijnt.

 

Dominant beeld van onderzoek

Het dominante beeld van onderzoek

Volgens het standaard beeld van onderzoek gaat het om:

  • Een duidelijke onderzoeksprocedure met een van te voren vastgestelde route
  • Een vaststaande en leidende onderzoeksvraag
  • Een uitvoering door externe experts
  • Hoe meer informatie hoe beter (n=groot)
  • Meetbare informatie die een antwoord geven op de onderzoeksvraag
  • Een duidelijke afsluiting met een rapport of een ander (van te voren vastgesteld) eindproduct
‘Ons soort’ onderzoek

Dat wij het anders doen mag duidelijk zijn. Uit onze ervaring weten we dat de complexiteit in het publieke domein andere vormen van onderzoek nodig heeft. De dominante vorm van onderzoek laat te weinig ruimte voor verschillende perspectieven, en stelt te weinig vragen bij vanzelfsprekendheden in het beleid.

Wij hebben geleerd en ervaren dat onderzoek ook verbindend kan werken. Wanneer er oog is voor (liefst meer gedeeld) eigenaarschap en het proces aansluit op wat er nodig is. Gezamenlijke reflectie is veel te belangrijk om helemaal uit te besteden.

 

Onderzoeksproces

‘Ons soort’ onderzoek

Kenmerken van ‘ons soort’ onderzoek voor de publieke sector zijn bijvoorbeeld:

  • Onderzoek als zoektocht met een flexibel proces
  • Door eigen én externe ogen, gebruik makend van verschillende expertises (expert, ervaring, deskundig etc.)
  • Nabijheid staat onafhankelijkheid niet in de weg
  • De N doet er minder toe dan de rijkdom van de informatie
  • Het onderzoeksdoel is leidend
  • Plausabiliteit is belangrijker dan causaliteit; merkbaar belangrijker dan meetbaar
  • Verwachte en gewenste impact bepalen de vorm van de ‘producten’.

In opdrachten wordt ons nog wel eens gevraagd onze visie op onderzoek toe te lichten. Dat gebeurt bijvoorbeeld nog wel eens wanneer we in interviews. Pas nog vroeg een geïnterviewde “Maar jullie zijn toch de onderzoekers?”, nadat we hadden gevraagd wat volgens de geïnterviewde zelf het belangrijkste punt was. Ook opdrachtgevers die ons speciaal kiezen vanwege onze aanpak en resultaten, hebben soms wat extra duiding nodig van de achterliggende onderzoeksvisie. Zeker wanneer dit hun eerste kennismaking met een ‘ander soort onderzoek’ is. Het kan voor opdrachtgevers best uitdagend zijn om om te gaan met de flexibiliteit die nodig is voor een zo zinnig mogelijk onderzoek. Als niet alles van te voren vast staat, vergt dat een andere instelling dan men meestal gewend is.

In gesprek over onderzoek

De figuren maakten we om een paar van de verschillen duidelijk te maken. Werken ze ook voor u? Ze helpen ons om verwachtingen te bespreken en af te stemmen. Natuurlijk kunnen we ook het achterliggende wetenschapsfilosofische verhaal vertellen: over het onderscheid tussen verschillende onderzoeksparadigma’s (van positivistisch, post-positivistisch tot constructivistisch en kritische theorie). We merken echter dat niet iedere opdrachtgever daarop zit te wachten.

Uiteraard staat ‘ons soort’ onderzoek niet in beton gebijteld. Ook in de flexibiliteit moet flexibiliteit zitten. Bij de ene vraag zit nou eenmaal meer ruimte voor het zoeken naar passende vormen dan bij de andere. En in de ene setting is het bijvoorbeeld gemakkelijker om verschillende typen experts te betrekken dan in de andere. Ook dat is maatwerk : het afwegen van verschillende belangen. Het overbrengen van de verschillende visies op onderzoek zien we als ‘work in progress’. Heel inspirerend maar niet ‘af’. We gaan er graag mee door omdat we zien welke consequenties de heersende visie heeft in de dagelijkse praktijk. Dat maakt het voor ons en onze opdrachtgevers steeds weer belangrijk om over door te praten.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Effect onderzoeken is maatwerk

In gesprek over effect

Als je met elkaar een goed gesprek wil voeren over effect kan  het zoeken zijn naar de insteek. Daarvoor is scherpte en maatwerk nodig. Anders loop je het risico dat je langs elkaar heen praat.

Over het onderzoeken van effect in het algemeen én in het toezicht zijn boeken vol geschreven. Die gaan soms over maatwerk, maar vaker nog over algemene evaluatiemethoden (vaak ‘SMART’). Wij spreken over effect (én invloed én impact) met inspecteurs bij verschillende inspecties. We vragen naar hun visie en ervaring en onderzoeken samen hoe het gesprek over effect zo productief mogelijk gevoerd kan worden. Dat inspecteurs onderling ook verschillend denken, zoals in dit artikel inspecteurs die meer reactief of meer proactief werken, nemen we daar graag in mee.

In dit actieonderzoek vragen we inspecteurs naar momenten waarop zij effect hebben gehad. Die ervaring is het startpunt. Vervolgens kijken we hoe we die ervaring kunnen bevragen, objectiveren, toetsen en wie of wat we daarvoor nodig hebben.

Toezicht aan de voorkant: het voorkomen van problemen

Toezicht richt zich steeds vaker op het voorkomen van problemen. ‘Toezicht aan de voorkant’ met de bedoeling om handhaving op een later moment voor te zijn. (1)  De inspecteurs die wij spreken die zich bezighouden met dit type proactief toezicht zijn er vaak positief over. Ze hebben het idee dat het goed werkt:

“Wij voeren tegenwoordig gesprekken met nieuwe toetreders [startende organisaties]. Zodat deze organisaties weten wat ze kunnen verwachten van de inspectie. Eigenlijk geven we voorlichting. Volgens mij is dat een goede zaak. Op dat moment heb je als inspectie namelijk nog de ruimte om te vertellen wat er bij hoort en waar ze op moeten letten. Dat hoort ook echt bij ons werk, maar dat wordt nog wel eens vergeten.”

Zo’n proactieve aanpak kan ook werken bij ondertoezichtstaanden die al langer actief zijn. Zodat ze gewaarschuwd zijn voor sommige risico’s, of verder verbeteren. Sommige inspecteurs vertellen ondertoezichtstaanden graag over best practices in het veld. Of wijzen ondertoezichtstaanden op ruimte binnen de regels (zie Inspecteurs over hun vak).

Nog een mooi voorbeeld van proactief toezicht

Een inspecteur vertelt hoe hij zijn ervaringen inzet om een organisatie preventief te wijzen op mogelijke gevaren en risico’s.

“Een half jaar na het ernstige incident bij X was ik op inspectie bij Y. De organisaties waren vergelijkbaar. Navraag leerde dat Y geen kennis had van de toedracht van het incident bij X. Ook had men geen enkel idee of een dergelijk incident ook bij hen zou kunnen plaatsvinden. Ik bood Y aan om mijn kennis van de toedracht van het incident bij X met hen te delen. Voor zover het onderzoek dat toeliet, deelde ik tijdens een presentatie voor de voltallige leiding van Y, alles wat ze weten moesten over de toedracht, de oorzaken en de gevolgen van het incident. Mijn verslag werd in stilte en zonder enig tegenargument aangehoord. De leiding van Y ging zich beraden en nodigde mij al vrij snel uit voor een overleg. Ze hadden zelf onderzoek gedaan en besloten om te investeren in [kwaliteitsaspecten]. Het kostte Y meer dan twee jaar en een enorme investering. Toen was de gewenste kwaliteit bereikt.”

De inspecteur droeg deze casus aan als voorbeeld van een moment waarop hij vond dat hij echt impact had gehad. Hoe waardevol is het als een bedrijf niet alleen vanuit de angst voor handhaving het minimaal noodzakelijk doet, maar intrinsiek gemotiveerd is om het bedrijf veiliger te maken?

Toezicht gericht op handhaving: de ‘rotte appels’ eruit

We spreken ook met inspecteurs die zich vooral richten op de hardere handhaving. Die overtreders opsporen en ‘van de markt af willen krijgen’ en vooral veel ‘rotte appels’ tegenkomen. Deze inspecteurs kunnen hun werk en hun verhouding tot ondertoezichtstaanden heel anders zien:

“Ik hoef geen warme relatie met de ondertoezichtstaande. Wij gaan niet leuk uit elkaar. Sterker nog: ik achtervolg je de volgende keer weer.”

 

“Wij hebben als motto ‘ieder bedrijf heeft het recht gecontroleerd te worden’.  Wij willen dat bedrijven bang zijn om gecontroleerd te worden. Een ‘boeterapportje’ wordt lachend opzij geschoven. Samenwerking met opsporing, dat  is belangrijk, omdat je dan snel kunt schakelen naar strafrecht. Zo kun je de boeven echt pakken. We hebben een lijst van notoire overtreders. Dat moeten er nul worden.”

Hoort dit wel bij onze taak?

De proactieve aanpak met voorlichting en advisering verhoudt zich soms lastig tot wat de handhavende inspecteur ziet als zijn taak. Hij vindt zo’n ‘softe’ aanpak dan ook lastig. Niet passend bij de taak van de inspectie of bij zijn rol als inspecteur.

“Ik ben als inspecteur geworven, niet als voorlichter.”

Tegelijkertijd merken we van de adviserende inspecteurs dat het hen kan frustreren wanneer er te snel wordt gevraagd om handhavingsmiddelen in te zetten. Of wanneer in de verantwoording vooral gevraagd wordt om aantallen opgelegde sancties. Zij zien hoe een te harde aanpak bij hun doelgroep ook averechts kan werken. Daarnaast speelt ook bij deze inspecteurs een verschil in perspectief mee.

Je ziet inspecteurs die vooral te maken hebt met niet-willers (‘de boeven’) anders praten over de effectiviteit van handhavingsmaatregelen dan inspecteurs die vooral niet-weters (de onbewuste overtreders) tegenkomen. Wanneer inspecteurs vervolgens wordt gevraagd te werken met een aanpak die ze niet passend vinden, zie je dat hun energie weglekt. Als er geen sprake is van maatwerk in het nadenken over effect krijg je verlies van betrokkenheid en eigenaarschap. Dan passen de individuele ervaringen van effect niet goed genoeg bij de officiele rethoriek.

Verschil in visie en aanpak

De gesprekken met inspecteurs maken een verschil in visie zichtbaar. Focus je als toezichthouder op de naleving van wet- en regelgeving? Of heb je vooral aandacht voor het stimuleren van de  ondertoezichtstaanden en probeer je door advisering of voorlichting de organisaties de goede richting op te wijzen? Ben je meer van een reactieve aanpak waarbij het opleggen van sancties het zwaarste instrument is? Of ben je er juist van overtuigd dat voorkomen beter is dan genezen.

Van inspectievisie naar uitwerking in de praktijk

Op inspectieniveau kan er een uitgewerkte overkoepelende visie bestaan waarbinnen ruimte is voor verschillende aanpakken bij verschillende vraagstukken. Dat wil echter niet zeggen dat deze inspectievisie voor inspecteurs in het dagelijks werk voldoende richting geeft. Of de verschillen in aanpak tussen inspecteurs voldoende duidelijk maakt.  Zij merken op: Wat beoogt onze inspectie nou precies te bereiken? Als we dezelfde taakopdracht hebben, hoe kunnen onze aanpakken binnen die opdracht dan zo verschillen? En ook een relevante opmerking: Hoe komt het bij ondertoezichtstaanden over als we ze zo verschillend tegemoet treden? De verschillende aanpakken kunnen onderling schuren, zeggen ze.

‘We komen bij dezelfde organisaties, maar we hanteren niet één lijn.’

Sommige inspecteurs voelen frustratie of voelen zich niet voldoende gehoord als ze merken dat andere directies of inspecties hun aanpak en de resultaten die ze daarmee halen niet zien of onvoldoende waarderen.

Nadenken over effect is maatwerk

Met het simpel constateren van deze verschillen in visie en aanpak zijn we er niet. Elkaar overtuigen van de beste aanpak werkt ook niet.

Wat volgens ons wel kan helpen is een preciezer gesprek over het gewenste effect. Wat denken we dat op dit moment, bij dit probleem, met deze doelgroep, met deze wetgeving en deze andere stakeholders, binnen onze eigen mogelijkheden het meest effectief zal zijn? Door meer zicht te krijgen in de – ook mogelijk verschillende of elkaar aanvullende – beoogde effecten ontstaat ruimte om elkaars aanpak te verkennen en te waarderen wat werkt. Niet uniformiteit in de aanpak staat dan centraal, maar een aanpak die past bij de gewenste effecten. Maatwerk dus. Dan pas kun je elkaar ook kritische vragen stellen als: Waarom denk je te zien dat deze aanpak werkt (gelet op het beoogde effect)? Is er een andere stakeholder die dit effectiever zou kunnen doen? Waarom denken we dat wat eerder werkte nu ook werkt? Of hoe verhoudt dit (beoogde) effect zich tot andere effecten die we binnen ons team of binnen onze inspectie willen bereiken? Dit soort vragen brengen inspecteurs -ook wanneer ze verschillend denken over ‘de beste aanpak- verder. Het is wel wat anders dan het SMART denken waar veel mensen in getraind zijn. Misschien tijd voor een nieuwe acronym?

 

Voetnoot

(1)Natuurlijk zijn er toezichtsgebieden waarbij het toezicht ‘aan de voorkant’ al langer wettelijk is geregeld. Een vliegtuigmaatschappij of een ziekenhuis begin je niet zomaar. Er zijn regels waaraan je in die sectoren moet voldoen voordat je überhaupt mag beginnen. Op die regels wordt toezicht gehouden, bijvoorbeeld door controles van verplichte certificering. Maar er zijn ook sectoren waarin geen wettelijke voorwaarden worden gesteld om een onderneming of organisatie te mogen beginnen. Waar je geen diploma, certificering of toestemming nodig hebt om aan de slag te gaan. Als je eenmaal begonnen bent heb je je dan wel te houden aan wet- en regelgeving over de kwaliteit van je dienst of product. En kun je boetes of andere sancties verwachten wanneer je dat niet doet. Maar omdat achteraf straffen ook niet altijd de oplossing lijkt, worden sommige inspecties steeds proactiever en richten ze zich, zonder expliciete wettelijke opdracht, op preventie.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Evaluatie klachtbehandeling Defensie
Wat kan er beter?

Hoe wordt de klachtbehandeling bij Defensie ervaren? Wat gaat er volgens klagers, beklaagden en betrokken professionals goed, maar vooral ook: wat kan er beter?  Het ministerie van Defensie heeft Yvonne van der Vlugt en Manja Bomhoff gevraagd hiernaar onderzoek te doen. Afgelopen week stuurden de minister en de staatssecretaris dit onderzoek met begeleidende brief naar de Tweede Kamer. In de evaluatie ligt de focus op de factoren die de ervaringen van betrokkenen positief of negatief beïnvloeden en op wat er nodig is om de klachtbehandeling voor (oud)medewerkers van Defensie te verbeteren.

Aanleiding voor deze evaluatie zijn kritische rapporten van de Nationale ombudsman in zijn rol als Veteranenombudsman, vragen van de Tweede Kamer en de eigen behoefte van Defensie aan handvatten voor verbetering van de klachtbehandeling.

Van strakke procedure naar flexibel proces

Goede klachtbehandeling is belangrijk voor het vertrouwen van medewerkers in de organisatie. Adequate omgang met ongenoegens draagt bij aan goed werkgeverschap en versterkt de lerende organisatie. Uit deze evaluatie blijkt dat Defensie op al deze punten nog grote stappen kan zetten. Beoogde doelen van klagers en beklaagden en verwachtingen van klachtbehandeling worden zelden gerealiseerd. Dit vermindert het vertrouwen in de defensieorganisatie.

Dit komt vooral door een te strakke, formele procedure. Voor een goede klachtbehandeling is een flexibel proces nodig. De wet (Awb) en de Klachtenregeling Defensie bieden veel meer ruimte voor een passende behandeling van ongenoegens. Defensie maakt gebruik van een smalle, formele klachtdefinitie die intern en extern tot verwarring en miscommunicatie leidt. Dit versterkt het formele, negatieve beeld van klachten. Net zoals klagen bij het koffiezetapparaat dagelijks gebeurt, zou het ook gangbaar moeten zijn om ongenoegens mondeling of schriftelijk bij een leidinggevende neer te leggen. Deze pakt de klacht dan serieus en adequaat op, zonder dat daar als vanzelfsprekend een formele procedure voor wordt opgestart.

Aansluiten bij behoeften

Klachtbehandeling bij Defensie moet en kan beter aansluiten bij de behoeften van klagers en beklaagden. Er valt veel te winnen door nadrukkelijker stil te staan bij de behoeften van klagers en beklaagden en deze expliciet te bevragen. Het serieus nemen van de specifieke klachtcontext en individuele behoeften is niet hetzelfde als het inwilligen van alle wensen. Dit rapport laat zien dat klagers met hun klacht verschillende doelen kunnen hebben. Zo kunnen ze met hun klacht bijvoorbeeld de organisatie willen verbeteren of juist het gedrag van de beklaagde stoppen. Ook de waarden die voor klagers en beklaagden bij klachtbehandeling belangrijk zijn, zoals geheimhouding, onafhankelijkheid en voortvarendheid kunnen verschillende betekenissen hebben. Er past dus geen standaard formele procedure.

Luisteren en goede voorbeelden delen

Professionals en leidinggevenden die binnen defensie bij klachtbehandeling betrokken zijn, gaan te vaak uit van hun eigen (impliciete) logica’s over wat klachtbehandeling inhoudt. Hierdoor bestaan er afzonderlijke procedures voor klachten, meldingen en ongenoegens. Dat heeft lastige overgangen en processen tot gevolg die niet, of soms toevallig, aansluiten bij wat er nodig is. Leidinggevenden en de ondersteunende professionals kunnen een belangrijke rol spelen in het luisteren naar betrokkenen. Daarnaast kunnen ze ook het leren van klachten verder brengen door voorbeelden van leerzame klachten en constructieve vormen van klachtbehandeling breder te delen. Deze evaluatie doet daar een voorzet toe.

Beleidsreactie

In de beleidsreactie naar aanleiding van deze evaluatie geven de minister en de staatssecretaris van Defensie aan dat veel van de aanbevelingen uit het rapport zijn of worden opgepakt. Zo zal er een ruimere definitie worden gehanteerd waaronder ook onbehoorlijkheidsklachten en klachten ongewenst gedrag vallen:

“De medewerker doet zijn verhaal zonder zich druk te hoeven te maken over de juridische kwalificatie en wijze van afhandelen: als melding, als klacht, of anders. Gedurende het hele traject staan de belangen van de betrokken medewerker(s) centraal.”

Leidinggevenden en procesdeskundigen krijgen handvatten om klachten en meldingen te behandelen. Daarbij wordt ook inzicht gegeven in de ruimte die onder andere de Klachtregeling Defensie biedt voor het (in)formeel behandelen van een klacht of een melding, bijvoorbeeld door een goed gesprek of mediation. Verder wil Defensie het netwerk van procesdeskundigen zichtbaarder maken, zodat leidinggevenden en medewerkers deze deskundigen beter weten te vinden. Ook de procesdeskundigen zelf worden gestimuleerd om elkaar beter te vinden. Er worden kennistafels georganiseerd zodat zij ervaringen kunnen uitwisselen over de verschillende werkwijzen die zij hanteren. Zo wil Defensie stimuleren dat er intern van elkaar wordt geleerd.

 

De Tweede Kamer bespreekt deze evaluatie van de klachtbehandeling bij Defensie op 18 juni 2020. Hier vindt u het volledige rapport.

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**