Wat heeft de Rechtspraak aan feedback

Meer leren van andere ervaringen en perspectieven

Een artikel in het themanummer over het leren van feedback in Rechtstreeks

Manja Bomhoff en Yvonne van der Vlugt

 

Klachten, spiegelgesprekken, visitaties, online enquêtes en collegiale feedbacksessies. In dit artikel reflecteren we op het fenomeen van feedback binnen de Rechtspraak. Waarom zou de Rechtspraak feedback willen of nodig hebben? En wat kan de Rechtspraak ermee? Er gebeurt binnen de Rechtspraak van alles en er zijn, zo leren we van Joyce Silvester, steeds meer rechters die willen spiegelen en die zij hoort zeggen: ‘Hoe helpt mijn uitspraak de samenleving?’ Om optimaal te kunnen profiteren van feedback is het nodig om steeds weer na te denken over de waarde ervan. En om de mogelijke belemmeringen die worden gezien te adresseren. Het is niet altijd gemakkelijk om ruimte te vinden voor reflectie op het eigen werk en de eigen vanzelfsprekendheden. Soms is er geen tijd voor, soms wordt het niet belangrijk gevonden of is het onderwerp té gevoelig. Het is belangrijk om vragen of twijfels daarbij serieus te nemen: is het, met onafhankelijkheid als een centrale waarde, wel verstandig om burgers expliciet naar hun meningen te vragen? Wat voegt dat toe? Wordt er niet al genoeg geluisterd doordat we horen? Denken mensen dan niet dat ze een oordeel kunnen beïnvloeden of misschien nog erger: staan we zelf dan nog wel boven de partijen of raken we beïnvloed door één partijstandpunt?

We verkennen het onderwerp feedback binnen de rechtspraak. Dat doen we op basis van de artikelen over verschillende vormen van feedback in dit nummer van Rechtstreeks en onze eigen onderzoekservaringen op verschillende plekken binnen de publieke sector.

De waarde van feedback

Het motiveert als het leren van feedback niet een gedachteloos ‘moetje’ is, omdat het jaarlijks gebeurt, ‘nu eenmaal zo gaat’ of omdat het wettelijk is vastgelegd. Wanneer een organisatie of een professional helder heeft waarom feedback vragen zinvol is, kan er ook beter mee worden omgegaan. Dan wordt er meer van geleerd en mee gedaan. De waarde van feedback kan verschillend worden gezien. Feedback kan zicht geven op de (ervaren) kwaliteit of juist de risico’s, mogelijkheden laten zien voor innovaties, een impuls geven voor gezamenlijke reflectie of ruimte maken voor de stem van de minst machtige. Elk van deze redenen vergt een andere vorm van feedback. Net zo als het ertoe doet voor wie de feedback wordt opgehaald. Voor verschillende doelgroepen − een rechtbank, een afdeling, de Rechtspraak, de media, de Tweede Kamer, het ministerie − zijn verschillende feedbackinstrumenten geschikt. Daarover later meer, nu staan we eerst stil bij de − wat ons betreft − belangrijkste rol van feedback: inzicht in verschillende perspectieven en de eigen blinde vlekken.

Feedback geeft een mogelijkheid om kennis te nemen van verschillende perspectieven. Hoe kun je dit gebouw, deze interactie, dit proces, deze verhoudingen of deze regels anders ervaren? Je kunt de waarde van andere perspectieven pas zien wanneer je beseft hoe specifiek het eigen perspectief is. Dat vergt inzicht in hoe de eigen waarnemingen en interpretaties gekleurd zijn door de eigen achtergrond, opleiding, structuren en vanzelfsprekendheden.

[…]

Lees het hele artikel in Rechtstreeks 2020/2 hier (pdf).

De ene evaluatie is de andere niet. Het kan op zoveel manieren.  Onderzoeken of evalueren van beleid wordt te vaak gepresenteerd als een soort neutrale bezigheid. Terwijl je tijdens een evaluatie constant keuzes maakt en belangen afweegt. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook algemene keuzes die van te voren en tijdens een onderzoek gemaakt moeten worden. Die keuzes hebben te maken met het doel van de evaluatie.

Onze evaluaties zijn gericht op het leren of verbeteren. In dit artikel laten we zien wat voor keuzes daar volgens ons bij horen. Onze evaluatie van de klachtbehandeling bij Defensie gebruiken we ter illustratie.

Je sluit aan bij de betrokkenheid die er al is

Als het doel van evalueren is om er beter van te worden, dan moet je aansluiten bij de mensen die het echte werk doen. Alleen zo respecteer en vergroot je hun betrokkenheid. In het geval van klachtenbehandeling zijn dat dan in de eerste plaats de mensen die klachten behandelen. Daarnaast spelen ook betrokken leidinggevenden en allerlei adviseurs een belangrijke rol. Met elkaar zijn dit de mensen van wie je wil dat ze verbeteringen gaan doorvoeren. Ook lang nadat wij als onderzoekers ons rapport hebben opgeleverd. Daarom proberen we ons in onze onderzoeken zoveel mogelijk te richten op hun toekomst.

Daarnaast kan geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. De ene keer is dit makkelijker te organiseren dan de andere. Maar er is altijd wel een manier om de gebruiker of de burger te betrekken. In dit geval waren dat de klagers en beklaagden bij Defensie. We spraken een groot aantal, we analyseerden hun ervaringen en we gaven ze (letterlijk) een grote stem in het rapport.

Je kiest een dynamisch perspectief

Het is onze ervaring dat een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) meer betrokkenheid en waardevolle inzichten oplevert. Dynamisch evalueren betekent dat je aandacht geeft aan waar de organisatie vandaan komt. Daarnaast kijk je ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is niet bevorderlijk voor zelfreflectie. De reacties op zulke rapporten kosten een organisatie veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Je begint een evaluatie daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag? Hoe verhouden die zich tot elkaar? In de evaluatie van de klachtbehandeling bij Defensie gingen we hier in het eerste hoofdstuk nadrukkelijk op in.

Wat is ‘goed’ en wat niet? Je bent open over de normatieve kaders

Wanneer je wil dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat je als onderzoeker niet doet alsof slechts wij de waarheid in pacht hebben. Ons past, als passerende buitenstaanders immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Je bescheidenheid krijgt vooral vorm in openheid over de normatieve kaders die je gebruikt. Want wat is ‘goed’ en wat niet? Het is belangrijk om kleur te bekennen en zorgvuldig in te gaan op de normatieve kaders die je gebruikt.

In het evaluatierapport voor Defensie schreven we: “Met zoveel verschillende perspectieven op klachtbehandeling zijn er ook verschillende ideeën over wat klachtbehandeling ‘goed’ maakt. Ook de vraag of Defensie een probleem heeft met klachtbehandeling en zo ja, hoe groot dit probleem is, kan beantwoord worden vanuit verschillende normatieve kaders. Er zijn veel manieren waarop klachtbehandeling ‘goed’ kan verlopen: variatie ontstaat door verschillende doelen, contexten en mensen. Er is dan ook niet een vaststaand evaluatieprotocol dat door middel van een vinklijstje simpel afgewerkt kan worden. Tegelijkertijd zijn er natuurlijk wel degelijk ideeën over wat wel en niet werkt en wat een goede, of zorgvuldige klachtbehandeling zou moeten inhouden. We onderscheiden in dit onderzoek drie normatieve kaders die elkaar deels kunnen overlappen: beleidstheorie Defensie; ombudsvisie professionele klachtbehandeling; onafhankelijke geïnformeerde blik van evaluatoren’. Vervolgens gingen we op elk van deze kaders dieper in.

Je bent kritisch, maar zoekt ook naar wat wél werkt

Van goede voorbeelden leer je vaak meer dan van verkeerde. Het is daarom belangrijk om expliciet op zoek te gaan naar inspirerende voorbeelden en deze ook een plek te geven. Natuurlijk moet er ook ruimte zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. Je stelt kritische vragen en vraagt door. Daarmee wil je mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking boven tafel krijgen. Je doet dat niet om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende overtuigingen van betrokkenen.

Erkenning van verschillen helpt bij het vergroten van de interesse in elkaars ervaringen. In het geval van de evaluatie bij defensie gaven we bijvoorbeeld veel aandacht aan de ervaringen van klagers en beklaagden, maar ook aan de leidinggevenden en de verschillende adviseurs met een belangrijke ondersteunende rol. Door deze ervaringen te delen gun je betrokkenen de mogelijkheid om eigen inzichten te ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseer je om ervan te kunnen leren

In evaluaties gericht op leren staan dus de ervaringen met het proces centraal. Je kijkt naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. Je analyseert op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijk je naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren. In het geval van klachtbehandeling wordt er dan bijvoorbeeld vooral gekeken naar de wettelijk vastgestelde termijnen.

In het geval van Defensie was er in eerdere rapporten (zoals die van de Nationale ombudsman/Veteranenombudsman en van de commissie-Giebels) al meerdere malen geconstateerd dat die binnen Defensie vaak werden overschreden. Als je de nadruk wil leggen op het leren wordt het dan al gauw interessanter om te begrijpen wat de overschrijding van zo’n termijn kan betekenen. In welke gevallen zijn de termijnen belangrijk voor de ervaring? Hoe kijken procesdeskundigen daar tegenaan? Welke factoren spelen (mogelijk) een rol bij de tijd die het kost om binnen de organisatie klachten af te handelen? Antwoorden op dit soort vragen bieden een organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën. Een evaluatie gericht op leren streeft naar representativiteit op het niveau van factoren die van invloed zijn op de ervaring van klachtbehandeling. Niet op het niveau van het proces.

Je bent dichtbij én onafhankelijk

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voer je een evaluatieonderzoeken gericht op leren het liefst zo dicht mogelijk op de organisatie(s) uit. Je legt tussentijdse bevindingen zoveel mogelijk voor aan bijvoorbeeld een interne begeleidingscommissie. Zo neem je ze mee in de aanpak en de uitkomst van het onderzoek. Je luistert naar de reacties die tussentijdse bevindingen en keuzes oproepen en laat commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Soms is er de angst dat dit ten koste gaat van je onafhankelijkheid. Dat hoeft niet zo te zijn. Als je helder bent over de reden waarom je je oor te luister wil leggen kun je je vervolgens nog altijd volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Het kan daarbij ook helpen om een externe leescommissie in te stellen, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt.

In het geval van de evaluatie bij Defensie hielpen zowel de begeleidingscommissie als de externe leescommissie ons met onze reflectie op het proces en de inhoud. Het sterkt je in je onafhankelijkheid ten opzichte van je opdrachtgever.

Aanbevelingen stel je op in dialoog

Ook bij het opstellen van aanbevelingen zoek je nadrukkelijk de dialoog met verschillende gesprekspartners binnen de opdrachtgevende organisatie. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het vervolgens altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoeker probeer je hier op een open wijze en passend bij je specifieke rol een productieve invloed op uit te oefenen. Daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.

Wat bedoel jij met effect?

Wat bedoel jij met effect?

Het valt ons op dat er nog wel eens langs elkaar heen wordt gesproken wanneer het in een organisatie gaat om effect. De een heeft het vooral over het meten van effect. De ander meer over de vraag wat zin heeft. Een derde wil vooral weten wat er gedaan moet worden.

Ook zijn er verschillende ideeën over waar naar gekeken zou moeten worden: De een kijkt bijvoorbeeld naar een deel van het proces, terwijl de ander misschien vooral wil kijken naar het eindresultaat. De een is benieuwd naar de korte, de ander naar de langere termijn. En de een wil vooral focussen op het merkbare en de ander houdt het liever bij het meetbare.

Duidelijkheid is een belangrijke voorwaarde

In effectonderzoek is het allereerst belangrijk dat je met elkaar duidelijkheid hebt over waarom je het eigenlijk over effect wil hebben. Pas daarna kun je zinnig gaan nadenken over hoe dat er dan uit zou moeten komen te zien. Eerder al schreven we deze blog over hoe het onderzoeken van effect om maatwerk vraagt. Nu hebben we, op basis van jullie opmerkingen en reflecties ook een opzet gemaakt voor een praatplaat: “Wat bedoel jij met effect?”. Zie het bijgevoegde document.

Wat bedoel jij met effect?

Wat bedoel jij met effect (Download pdf)

De plaat en de bijbehorende vragen (zie de pdf) zijn nog work-in-progress. We gaan er binnenkort weer verder over gesprek in één van de deelnemende inspecties aan ‘Inspecteurs over hun vak’

Wat denkt u: Zou iets als het bijgevoegde kunnen helpen om zo’n gesprek met elkaar te voeren? Wat zou er wel of niet goed kunnen werken? Mist er iets, of brengt dit op andere ideeën? Bijvoorbeeld voor een andere fase in het gesprek over, of het in kaart brengen van, effect? Wij vinden het vooral belangrijk dat het gesprek hierover op een zinnige manier gevoerd wordt. Professionals, zo is onze indruk, verliezen eigenaarschap en betrokkenheid wanneer er teveel langs elkaar heen wordt gepraat.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Van ervaring naar impact
Lastige vragen over impact

Noem ons megalomaan of naïef, maar Yvonne en ik willen allebei graag dat ons werk er toe doet. Hoewel we heel verschillend zijn, vinden we elkaar volledig in dat we het belangrijk vinden dat ons werk nut heeft. Dat klinkt misschien overdreven. Maar het zit hem vaak juist in kleine dingen. Zo blikken we samen terug op onze ervaringen: Hebben we misschien een perspectief kunnen toevoegen dat anders over over het hoofd was gezien? Konden we gebruik maken van onze onafhankelijke positie en een nieuw inzicht aandragen? Impact- onze eigen definitie daarvan- is één van onze belangrijkste maatstaven die we gebruiken om te kijken of het nog goed gaat.

Maar nadenken over impact of effecten is helemaal nog niet zo makkelijk. Niet alleen voelt het soms wel erg megalomaan (“Alsof de hele wereld om jou draait!”) of juist naïef (“Er zijn meer factoren van invloed, hoor”). Soms is het lastig om de tijd of de ruimte te nemen om hierover na te denken, een volgende inspectie of onderzoek ligt immers al te wachten. Bovendien is het denken over deze onderwerpen zo sterk beïnvloedt door een specifiek ‘meten is weten’ denken dat het vaak al stopt voor het goed en wel begonnen is.

Dat maakt het nadenken over dit soort vragen voor veel mensen lastig. Zeker in sectoren met een sterke verantwoordingscultuur (zie het RVS rapport over dit onderwerp). De inspecteurs die wij spreken in het kader van Inspecteurs over hun vak zijn ook in dit denken getraind. Het maakt dat ze niet gewend zijn om vragen over impact en effecten van hun eigen optreden te beantwoorden.Want mag je dit soort vragen eigenlijk wel beantwoorden zonder de onderbouwing van een onafhankelijk uitgevoerd effectenonderzoek?

Wanneer is jouw werk nuttig? Wat zijn momenten waarop jouw werk er toe doet, je positieve verandering tot stand brengt? Wanneer ben jij van waarde voor de publieke zaak?

Beter worden door vragen te stellen

Maar dit soort vragen staan aan de basis van verbetering. Professionalisering gaat hand in hand met een intrinsieke wens tot kwaliteitsverbetering. Daar is continue reflectie over de (mogelijke) invloed van het eigen individuele en collectieve handelen voor nodig. Om te kunnen verbeteren moet je immers nadenken over wat eerder wel of niet heeft gewerkt en vooral waarom. Je kunt dat niet beperken tot die paar onderwerpen waar een volledige studie naar is verricht. Dan mis je veel te veel.

De afgelopen jaren is bij de rijksinspecties veel nadruk komen te liggen op het in kaart brengen van effecten van toezicht. Bij het verzamelen van al die ‘evidence’  worden bepaalde ‘regels’ gehanteerd. Die maken dat sommige invloeden eerder zichtbaar worden (gemaakt) dan anderen. Zo wordt er…

  • bij voorkeur gekeken naar causale relaties, dat geeft immers het sterkste bewijs voor effecten.
  • graag gegeneraliseerd en gesimplificeerd zodat de opgedane kennis in potentie op veel toekomstige gevallen van toepassing kan zijn.
  • gezocht naar objectieve informatie.
  • gekwantificeerd gemeten en gebruik gemaakt van grote aantallen.
  • met controlegroepen gewerkt.
  • gekeken naar grotere verbanden, grotere processen en grotere relaties.
  • (inspecteur) overstijgend gekeken, dus ofwel op inspectieniveau ofwel op geaggregeerd inspectieniveau.

Door al deze mechanismen, waar natuurlijk nog veel meer over te zeggen valt, krijgt het alledaagse, het contextspecifieke, het kleine, het complexe en het subtiele veel minder aandacht. Terwijl dat juist is waar de individuele inspecteur (of het team) mee te maken heeft.

Hoe te kijken naar je eigen impact?

Tegelijkertijd wordt van responsieve inspecteurs nu juist verwacht dat zij de context en de individuele omstandigheden slim in ogenschouw nemen en lerend en reflectief werken. De ontwikkeling van de daarvoor benodigde vaardigheden van inspecteurs vergt een ander evaluatief kader dan wat de hierboven beschreven effectmetingen bieden. Een belangrijk doel is om de achterliggende waarden en aannames over dit deel van het inspectiewerk te expliciteren. Wanneer individuele en contextspecifieke ervaringskennis namelijk impliciet blijft en niet wordt geanalyseerd, wordt ze vaak ‘gedegradeerd’ tot intuïtie en blijft ze lastig toetsbaar en overdraagbaar.

Met andere woorden: zouden de eigen ervaringen niet vaker de basis moeten vormen voor onderzoek (in de breedste zin van het woord) naar effecten en impact?

In sessies met inspecteurs draaien we het daarom om. We beginnen met te vragen naar momenten waarop zij het gevoel hadden het verschil te maken. Hoe klein of hoe groot of hoe subjectief ook. Die ervaring is het startpunt. Vervolgens kijken we naar hoe we die ervaring kunnen bevragen, objectiveren, toetsen en wie of wat we daarvoor nodig hebben. Als de ervaring vervolgens echt een positieve invloed lijkt te hebben gehad komt de volgende stap: kijken of het verder uit te bouwen is zodat meer mensen, inspecteurs, casus er profijt kunnen hebben.

Artikel TvZ Verpleegkundigen

Verpleegkundigen betrekken bij het calamiteitenbeleid

Verpleegkundigen kunnen, net als artsen, te maken krijgen met een calamiteit. Hun betrokkenheid bij de totstandkoming en de uitvoering van het calamiteitenbeleid is echter klein, terwijl hun inbreng bijzonder waardevol kan zijn. Zij kunnen ervoor zorgen dat aanbevelingen die volgen uit calamiteitenonderzoeken passen bij de praktijk. En dat die aanbevelingen vervolgens hun weg vinden naar de werkvloer, iets wat nu nog lastig blijkt. Verder zijn er ook nog beleidsmatige en sociale redenen om deze beroepsgroep meer te betrekken.

Samen met Marjan Comello,Maureen Elshof en Gerjan Heuver schreef ik een stuk over de rol van verpleegkundigen bij ziekenhuiscalamiteiten; een belangrijk onderwerp dat meer aandacht verdient. Het artikel is gepubliceerd in TvZ, het tijdschrift voor verpleegkundigen.

Gerjan Heuver is lid van de Raad van Bestuur van Gelre Ziekenhuizen. Samen hebben wij meerdere artikelen over calamiteitenbeleid gepubliceerd.  Marjan Comello en Maureen Elshof vervullen in diezelfde Gelre ziekenhuizen de rol van verpleegkundig expert patiëntveiligheid. Deze innovatieve functie is in het leven geroepen om de beroepsgroep nadrukkelijker bij het calamiteitenbeleid en de uitvoering ervan te betrekken.

De pdf van het artikel is hier te vinden

Dit artikel is met toestemming van de redactie overgenomen uit TvZ Tijdschrift voor verpleegkundigen 2017, nr. 4.