n=1 complex

Een n=1 complex

Op een dag kom je erachter: je hebt een n=1-complex.

Stel, je zit in een projectgroep. Het is jullie gelukt om alle neuzen dezelfde kant op te krijgen en jullie hebben een plan. Het is duidelijk. Hiermee kunnen jullie lekker aan de slag.

Dan wil je collega nog iets inbrengen. Het is een persoonlijk verhaal. Ze had nog even getwijfeld of ze dit wel zou vertellen, maar ze heeft een verhaal over haar zusje. Ze vertelt over een schrijnende geschiedenis, haar zusje heeft jarenlange ervaringen met het onderwerp van de projectgroep. Even heb je het gevoel dat jullie hier iets mee moeten.

De voorzitter neemt het woord. Hij bedankt je collega voor het delen van dit persoonlijke relaas. Vervolgens zegt hij dat het, hoewel schrijnend, gelukkig wel een n=1 betreft. Enkele ervaringen zeggen niks over hoe dit voor anderen is. Heel even is het stil. Dan haalt iedereen adem. Nu kunnen jullie echt aan het werk.

Je gaat het pas zien als je het doorhebt

Herken je dit? Heb je het zelf al eens meegemaakt? Iets ingebracht waarvan je dacht dat het de moeite waard was? Of toegekeken terwijl een ander zijn ervaring aan de kant werd geschoven want n=1? ‘Je gaat het pas zien als je het doorhebt’ zoals Cruijff ons leerde. De ene keer subtieler of vriendelijker dan de andere, soms direct, vaker indirect.

Ervaringen gaan vaak pas tellen als het er veel zijn. Het idee dat een enkel, of enkele, ervaringen niet van betekenis zijn is wijdverspreid. Niet alleen in overleggen, je ziet het in rapporten, beleidskeuzes of reacties.

Evidentie

Het heeft natuurlijk alles te maken met de grote nadruk op evidentie, generaliseerbaarheid en big data. Wanneer de regel is: hoe meer data, hoe beter, dan tellen individuele ervaringen niet. Dat kan heel nuttig zijn: Je profiteert bij je huisarts niet alleen van haar kennis maar van die van alle collega’s. Het kan ook heel verstandig zijn: Een overheidsaanpak moet voor grote groepen mensen werken, niet alleen voor de mensen die het hardst roepen.

Maar wanneer de dooddoener ‘een n=1-verhaal’ van stal wordt gehaald, kan het ook zijn dat er belangrijke informatie aan de kant wordt geschoven. Als individuele ervaringen per definitie niet tellen wordt luisteren lastig. Terwijl juist gedetailleerde verhalen heel waardevolle informatie kan bevatten. Informatie die inzicht geeft in de complexiteit van de praktijk, in het samenspel van factoren waardoor beleid in de praktijk zo anders kan uitwerken dan bedoeld.

Daarnaast is die n=1 reactie ook niet zo lekker voor de relatie.

Kwalitatieve analyse op n=1

Het N=1-complex kan in de publieke sector behoorlijk in de weg zitten. Als iets niet vaak voorkomt, of je het nog niet vaak gehoord hebt, wil het niet zeggen dat het geen analytische aandacht verdient. Sommige klachten bijvoorbeeld hoor je maar één keer, maar zijn toch van onschatbare waarde. Gouden klachten: omdat ze inzicht geven in een ander perspectief, laten zien hoe iets kan overkomen of waarschuwen voor een structurele tekortkoming. Een N=1 verhaal moet daarom niet het eindpunt maar juist het startpunt zijn, een uitnodiging voor verder onderzoek.

Onderzoek het zelf

Hoe dat eruit ziet? Dat hoeft helemaal niet groots of meeslepend te zijn. Je onderzoekt het gewoon zelf. Een volgende keer dat je je een n=klein-complex opmerkt, kun je beginnen met de volgende vragen:

  • Waarom voelde iemand de neiging om dit verhaal te vertellen?
  • Welke betekenis heeft dit verhaal voor de verteller?
  • Wat zegt dit mij of ons?
  • Wat vind ik ervan als dit zich heeft voorgedaan?
  • Welke combinatie van factoren is hier interessant?
  • Wat zou ik hier verder over willen uitzoeken?
  • Als dit voor deze persoon geldt, wat zou dit dan kunnen zeggen over andere gevallen?
  • Als dit voor anderen zou gelden, zouden wij dit dan (kunnen) horen?
  • Zou het de moeite waard zijn om uit te vinden of ditzelfde verhaal voor anderen geldt?

[Je kunt hierbij ook inspiratie putten uit de tien onderzoekende blikken, en dan met name de blikken van de barman en van de ontdekkingsreiziger.]

Het n=1 complex houdt veel waardevolle informatie tegen én werkt belemmerend voor de relatie met je doelgroepen. Daarom is het zo belangrijk dat ook jij van je n=1-complex af komt en de goede vragen leert stellen. Niet omdat je ieder verhaal vanaf nu even belangrijk moet gaan vinden. Wel, omdat ook een enkel verhaal een schat aan informatie kan bevatten.

 

Meer lezen:

Weten vraagt meer dan meten – hoe het denken verdwijnt in het regime van maat en getal
Christien Brinkgreve, Sanne Bloemink en Eric Koenen (eds.) AUP, 2017

Heb je wel eens het idee dat een onderzoek over de verkeerde vraag is gegaan? Dat het meer oplevert om op een andere manier te kijken?

Onderzoek wordt te veel gezien als iets dat heel groot, heel moeilijk en heel onafhankelijk moet zijn. Terwijl, onderzoek kan op veel meer manieren waardevol zijn.

Zo hoeft een onderzoek lang niet altijd te leiden tot uitkomsten die in een experimentele setting zijn na te bootsen. Of die als resultaat hebben dat we weten hoe de meerderheid ergens over beslist. Sterker nog, er zijn veel vragen waarbij zulke aanpakken helemaal niet goed passen.

Wij zien veel professionals en bestuurders die het onderzoeken helemaal overlaten aan buitenstaanders en experts. Dat is zonde. Iedereen die werkt in de publieke sector zou zo af en toe met een onderzoekende blik naar het eigen werkveld moeten kijken. Om meer begrip te krijgen van achterliggende beweegredenen van burgers bijvoorbeeld. Of om door te denken over de vraag of er andere manieren zijn om te kijken of het beleid goed uitpakt.

Deze plaat met tien onderzoekende blikken is bedoeld ter inspiratie. Natuurlijk is onderzoeken een vak: je moet leren wat goede vragen zijn, kritisch doordenken, ervaring opdoen, ethische consequenties doorgronden en ga zo door. En bij sommige onderzoeken wil je zeker zijn van de kwaliteit, van de zorgvuldigheid, of juist van de objectiviteit van de uitvoering.

Iedereen een onderzoekende blik

Maar hoewel niet iedereen onderzoeker is, kan wel iedereen een onderzoekende houding aannemen. Door kritisch te kijken, vragen te stellen, te reflecteren, nieuwsgierig te zijn, actief te zoeken naar tegenspraak, creatief na te denken of te zoeken naar rode draden. Eigenschappen die je als professional sowieso nodig hebt om in de publieke sector goed je werk te kunnen doen, problemen op te lossen en aan te sluiten bij wat er nodig is.

Pak dus de volgende keer dat er een vraagstuk voorligt eens deze plaat erbij. Bedenk welke blikken al aanwezig zijn in de vragen die worden gesteld en kijk eens of er ook nog andere blikken zijn die jullie verder zouden kunnen helpen. Misschien dat je zo op nieuwe vragen komt of een ander beeld krijgt van de informatie of inzichten die je op wil doen. Onderzoek is veel te inspirerend, maar ook veel te belangrijk, om helemaal over te laten aan anderen.

Deze plaat is gemaakt door Manja Bomhoff (Het Inzichtenlab) en Marjolein de Jong (Young Inspiration) en is ontworpen door Welmoet de Graaf.

Maakt de plaat je nieuwsgierig? De komende tijd gaan we wat dieper in op verschillende van deze blikken. Als je ons laat weten waar jij wel meer over wil horen dan gaan we daar mee aan de slag!

Wat heeft de Rechtspraak aan feedback

Meer leren van andere ervaringen en perspectieven

Een artikel in het themanummer over het leren van feedback in Rechtstreeks

Manja Bomhoff en Yvonne van der Vlugt

 

Klachten, spiegelgesprekken, visitaties, online enquêtes en collegiale feedbacksessies. In dit artikel reflecteren we op het fenomeen van feedback binnen de Rechtspraak. Waarom zou de Rechtspraak feedback willen of nodig hebben? En wat kan de Rechtspraak ermee? Er gebeurt binnen de Rechtspraak van alles en er zijn, zo leren we van Joyce Silvester, steeds meer rechters die willen spiegelen en die zij hoort zeggen: ‘Hoe helpt mijn uitspraak de samenleving?’ Om optimaal te kunnen profiteren van feedback is het nodig om steeds weer na te denken over de waarde ervan. En om de mogelijke belemmeringen die worden gezien te adresseren. Het is niet altijd gemakkelijk om ruimte te vinden voor reflectie op het eigen werk en de eigen vanzelfsprekendheden. Soms is er geen tijd voor, soms wordt het niet belangrijk gevonden of is het onderwerp té gevoelig. Het is belangrijk om vragen of twijfels daarbij serieus te nemen: is het, met onafhankelijkheid als een centrale waarde, wel verstandig om burgers expliciet naar hun meningen te vragen? Wat voegt dat toe? Wordt er niet al genoeg geluisterd doordat we horen? Denken mensen dan niet dat ze een oordeel kunnen beïnvloeden of misschien nog erger: staan we zelf dan nog wel boven de partijen of raken we beïnvloed door één partijstandpunt?

We verkennen het onderwerp feedback binnen de rechtspraak. Dat doen we op basis van de artikelen over verschillende vormen van feedback in dit nummer van Rechtstreeks en onze eigen onderzoekservaringen op verschillende plekken binnen de publieke sector.

De waarde van feedback

Het motiveert als het leren van feedback niet een gedachteloos ‘moetje’ is, omdat het jaarlijks gebeurt, ‘nu eenmaal zo gaat’ of omdat het wettelijk is vastgelegd. Wanneer een organisatie of een professional helder heeft waarom feedback vragen zinvol is, kan er ook beter mee worden omgegaan. Dan wordt er meer van geleerd en mee gedaan. De waarde van feedback kan verschillend worden gezien. Feedback kan zicht geven op de (ervaren) kwaliteit of juist de risico’s, mogelijkheden laten zien voor innovaties, een impuls geven voor gezamenlijke reflectie of ruimte maken voor de stem van de minst machtige. Elk van deze redenen vergt een andere vorm van feedback. Net zo als het ertoe doet voor wie de feedback wordt opgehaald. Voor verschillende doelgroepen − een rechtbank, een afdeling, de Rechtspraak, de media, de Tweede Kamer, het ministerie − zijn verschillende feedbackinstrumenten geschikt. Daarover later meer, nu staan we eerst stil bij de − wat ons betreft − belangrijkste rol van feedback: inzicht in verschillende perspectieven en de eigen blinde vlekken.

Feedback geeft een mogelijkheid om kennis te nemen van verschillende perspectieven. Hoe kun je dit gebouw, deze interactie, dit proces, deze verhoudingen of deze regels anders ervaren? Je kunt de waarde van andere perspectieven pas zien wanneer je beseft hoe specifiek het eigen perspectief is. Dat vergt inzicht in hoe de eigen waarnemingen en interpretaties gekleurd zijn door de eigen achtergrond, opleiding, structuren en vanzelfsprekendheden.

[…]

Lees het hele artikel in Rechtstreeks 2020/2 hier (pdf).

luisteren

Van school tot gemeente, van ministerie tot ziekenhuis, van publieke organisatie tot overheid: al deze organisaties zijn bezig met het oppikken van signalen van hun doelgroepen. Zeker nu we in een tijd leven waar door de crisis de fysieke afstand groter is, nemen veel organisaties zich voor nóg beter te luisteren naar jongeren, ouderen, patiënten, bewoners, medewerkers en belangengroepen.
Tegelijkertijd horen we heel vaak dat mensen zich niet gehoord voelen. Hoe kan dat toch? Wat houdt de publieke sector tegen in het luisteren naar geluiden uit de samenleving? Welke belemmeringen maken het zo moeilijk om er ons voordeel mee te doen?

Horen wat wordt gezegd, is nog niet luisteren naar wat wordt bedoeld. Organisaties in de publieke sector kunnen zichzelf pas serieus nemen als ze kennis nemen en leren van de ervaringen van hun doelgroepen. Toch horen en zien wij in ons werk veel excuses, overtuigingen en onbewuste ‘ja-maren’ die echt luisteren in de weg staan. Niemand ontkent dat luisteren en leren van de doelgroepen belangrijk is, maar de praktijk wijst anders uit en de zo vaak gehoorde ‘waan van de dag’ staat in de weg.

In dit artikel delen we 10 veel voorkomende excuses die écht luisteren in de publieke sector verhinderen -en laten we zien hoe je daar anders mee om kunt gaan.

1.     Dat doet een ander toch al?

Publieke organisaties besteden een groot deel van het luisteren uit: communicatiemedewerkers beantwoorden vragen; klachtenfunctionarissen vangen klachten op; medezeggenschapscommissies leggen hun oor te luisteren; juristen vangen bezwaren en claims op en bij specifieke vragen aan de doelgroep kunnen onderzoekers worden ingehuurd. Al dat specialiseren en uitbesteden levert voordelen op – zoals professionalisering en overzicht. Maar beleid en uitvoering voelen hierdoor wel minder de noodzaak om zelf te luisteren. Zij hebben de meest directe invloed op de praktijk. Daardoor is juist hun werk gebaat bij terugkoppeling en een directe verbinding met de doelgroep. Het is niet nodig om alles zelf te doen, maar je kunt er wel direct je voordeel mee doen als je ook zelf in gesprek blijft.

Het maakt uit wie er luistert, zorg dat ook beleid en uitvoering in verbinding blijven staan met de doelgroepen.

2.     Dan moeten we naar iedereen luisteren

Van professionals in de publieke sector wordt verwacht dat ze door de ogen van de doelgroep kunnen kijken, weten wat er speelt en geïnteresseerd zijn in hun perspectief. Meer mensen om hun mening vragen, levert niet per definitie meer inzicht op. Het aantal mensen dat wordt betrokken moet geen onhaalbaar en daarmee ontmoedigend doel op zich worden. Het is onrealistisch en onnodig om iedere jongere, patiënt, bewoner of anderszins betrokken burger altijd te vragen om een mening. Dat kost veel tijd, maar is ook vanuit het oogpunt van de doelgroep niet relevant. Belangrijker is het om zicht te houden op de diversiteit van meningen. Bovendien wil niet iedereen altijd ergens iets van moeten vinden. Mensen willen het gevoel hebben dat er naar hen geluisterd wordt als het nodig is.

Het maakt niet uit naar hoeveel mensen je luistert. De graadmeter is dát er wordt geluisterd.

3.     We weten al wat ze vinden

Is jouw organisatie al bekend met de mening van de doelgroep? Vaak horen we dat het niet nodig is om te luisteren, omdat men al weet wat de inwoners, studenten of bewoners zullen zeggen. Maar is dat een goede reden om niet opnieuw te hoeven luisteren? Het gaat bovendien niet alleen om de opbrengst van een gesprek, maar ook om het gesprek zelf. Aannames over de doelgroep vertellen zelden het hele verhaal en zowel de uitvoering als de praktijk veranderen voortdurend. Je hebt dus geen specifieke aanleiding nodig om op zoek te gaan naar feedback. Zo kun je klachten of onduidelijkheden zelfs voor zijn. Als je niets nieuws hoort, kan dat bovendien ook aan de vraag liggen; misschien vraag je zelf wel te veel naar de bekende weg?

Het maakt uit dát er om feedback wordt gevraagd, ook als dat een bevestiging geeft van wat je al wist. Blijf mogelijkheden scheppen om tot inzichten te kunnen komen die je verrassen.

4.     De procedure laat daar pas op een ander moment ruimte voor

Er worden binnen de publieke sector allerlei processen ingericht om burgers aan het woord te laten. Maar zodra processen verworden tot procedures verdwijnt de flexibiliteit en is er een risico dat alles wordt dichtgetimmerd. In veel procedures, denk bijvoorbeeld aan tevredenheidsmetingen, enquêtes, inspraakmomenten, klachtenprocedures of medezeggenschap, wordt formeel aangegeven wanneer de momenten zijn waarop er gesproken mag worden. Maar sommige bewoners willen liever vóór de beleidswijziging hun ideeën meegeven. Studenten kunnen er meer aan hebben als ze van tevoren, in plaats van na afloop, kunnen aangeven wat ze nodig hebben en sommige mensen willen niet wachten met het doen van hun verhaal tot de zitting van een klachtencommissie.

Het maakt uit wanneer je luistert. Luister wanneer dat nodig is (volgens jou of volgens de doelgroep), niet alleen wanneer dat volgens een bepaalde procedure aan de orde is.

5.     Daar is geen tijd voor

Geen ruimte voor een spreekuur? Geen tijd in de les voor feedback van studenten? Geen ruimte in de agenda om aan te sluiten bij de vergadering van de medezeggenschapsraad? Hoewel tijd kan beperken om te luisteren, is het geen excuus. Zijn er niet altijd manieren te vinden die minder tijd vragen? Gesprekken bij de koffieautomaat, verhalen opvangen in de wandelgangen en een online spreekuur bijvoorbeeld. Je vangt al heel veel op tijdens het ‘normale werk’. De kunst is om dat vervolgens te analyseren en te benutten. Wanneer je eerder kennis neemt van wat er speelt, scheelt dat ook tijd. Beleid dat niet goed ontvangen wordt of een keuze die leidt tot een regen aan klachten, bezwaarschriften of andere procedures kost veel meer tijd.

Het maakt uit of er tijd wordt gemaakt om te luisteren en of je manieren vindt om dat wat je hoort ook te benutten. Op de langere termijn kan dat zelfs tijd schelen.

6.     Dan denken ze dat ze hun zin krijgen

In onze gesprekken met bestuurders, beleidsmakers, juristen en andere professionals bespeuren we regelmatig de angst dat wanneer er naar mensen wordt geluisterd ze het idee zouden kunnen krijgen dat ze hun zin krijgen. ‘Je moet ze geen valse hoop geven’, ‘ik wil geen valse verwachtingen wekken’, of ‘ik kan het niet mooier maken dan het op papier is’ zijn uitspraken die we geregeld horen. Onze ervaring als onderzoekers leert ons dat de meeste mensen heel goed kunnen begrijpen dat hun opmerkingen niet direct tot beleidswijzigingen zullen leiden.

Het serieus nemen van de specifieke context en individuele behoeften is niet hetzelfde als het inwilligen van alle wensen. Het is mogelijk om mensen te laten zien dat hun klachten, signalen en opmerkingen ertoe doen en samen te verkennen waar wél of geen ruimte is voor verandering. Burgers voelen zich betrokken als zij als volwaardige gesprekspartner behandeld worden. Dus niet alleen als zij informatie ontvangen, maar ook als zij input mogen leveren die het proces en eindresultaat mede bepalen.

Het maakt uit of betrokken burgers mee kunnen praten. Dat geeft geen valse hoop, maar laat juist zien dat ook hun belangen ertoe doen.

7.     Ze begrijpen niet waarover het gaat en hebben allerlei emoties.

Emoties kunnen hoog oplopen in gesprek met de doelgroep. Niet alles wat gezegd wordt is altijd redelijk, weloverwogen of zakelijk. Dat kan onprettig gevonden worden, maar diskwalificeert het ook? Achter elke emotie schuilt een gefrustreerde behoefte. En de zorgen, emoties en percepties van burgers over beleid zijn nu eenmaal niet puur zakelijk. Dat is het grote verschil met de professional voor wie de beleidsbeslissing vaak puur professionele consequenties heeft. Daarbij denkt een student, inwoner, patiënt of rechtzoekende inderdaad vaker vanuit de eigen leefwereld en overziet niet als vanzelfsprekend het gehele plaatje. Maar de vraag is ook of dit nodig is. Wat interessant is, is hun kijk op en ervaring met het beleid en de praktijk. Het maakt hun verhalen niet minder relevant. Bovendien is het een kans om uit te leggen wat er zich achter de schermen allemaal afspeelt.

Het maakt uit dat je naar de ervaringen van betrokkenen luistert. Emoties of frustraties laten zien hoeveel invloed het beleid heeft op hun levens.

8.     Het beleid ligt al vast

“Mensen kunnen niet bij ons terecht als ze niet voldoen aan de vaststaande criteria.”
Er zijn in de publieke sector verbazingwekkend veel mensen die beleid lijken te zien als een vaststaand gegeven. Of iets dat komt van ‘hogerop’. Vanuit dat perspectief bekeken worden sommige onderwerpen onbespreekbaar. Als iets onveranderlijk lijkt hoeft er immers niet te worden geluisterd naar wat mensen ervan vinden. Laat staan dat het nodig is om met open vragen te informeren naar hoe iets bevalt. Terwijl beleid natuurlijk altijd door mensen is gemaakt en door mensen zal worden veranderd. Of het nu gaat over definities (wat is de ‘pensioenleeftijd’; waar ligt een ‘inkomensgrens’; wat bepaalt de ‘gezinssamenstelling’ en waar ligt de ‘gemeentegrens’) of over aannamen (‘een boete leidt tot betere regelnaleving’; ‘schulden boven dit bedrag worden problematisch’) het zijn allemaal subjectieve uitkomsten van tijdspecifieke, politieke keuzeprocessen. Ze sluiten naadloos aan bij de beleidswereld maar kunnen botsen met de leefwereld. Dat maakt dat laatste niet minder belangrijk of echt. Integendeel, juist dat verdient het om te worden opgevangen en gehoord. Kennis van de leefwereld is essentieel voor de kwaliteit van het beleid en de uitvoering (en van de democratische rechtsorde).

Het maakt uit of men zich in de publieke sector bewust is van de subjectiviteit van het beleid, dat vergroot de bereidheid om te luisteren.

9.     Wat zegt een enkel verhaal?

In veel publieke sectoren is de nadruk de laatste jaren erg sterk komen te liggen op evidentie, generaliseerbaarheid en big data. Het adagium daarbij: hoe meer hoe beter. Dat kan belangrijke inzichten opleveren, maar is nooit het hele verhaal. Er zijn ook vragen én antwoorden die door een te grote nadruk op grote aantallen en representativiteit te weinig aandacht krijgen. Met de dooddoener ‘een n=1 verhaal’ wordt veel te vaak nuttige, zinnige of belangrijke informatie terzijde geschoven. Enkele verhalen kunnen bijvoorbeeld, wanneer ze rijk genoeg zijn, wel degelijk inzichten bieden die breder opgaan. Niet zozeer als antwoord op vragen als: hoeveel kinderen gaan er tijdelijk niet naar school of hoeveel leerkrachten voelen zich kwetsbaar? Maar wel om inzicht te krijgen op kwesties als: wat kunnen redenen zijn waardoor kinderen niet naar school gaan of wat kunnen scholen doen om gevoelens van kwetsbaarheid van leerkrachten te verkleinen? Daarbij horen we ook vaak dat het altijd dezelfde mensen zijn die zich uitspreken. Maar maakt het feit dat die groep niet representatief is, de feedback minder waardevol? Het is aan jou om de signalen te analyseren en ook andere geluiden op te zoeken.

Het maakt uit wat je hoort, ook al is dat niet het hele verhaal. Het is aan jou om het verder te onderzoeken.

10.  We merken geen behoefte

“De deur staat open, maar ik hoor niks,” krijgen we geregeld te horen. Het uitblijven van reacties, klachten of ideeën is niet per se een teken van een gebrek aan betrokkenheid. Misschien is het verder zoeken naar de goede vorm. Of zijn de juiste vragen nog niet gesteld. Soms ook is het beeld bij mensen dat het toch geen zin heeft om mee te praten te hardnekkig. Beleid gaat hen aan. Ze moeten zich alleen wel uitgenodigd en uitgedaagd voelen om mee te praten. Laat je daarom niet ontmoedigen, blijf zoeken naar wat wél werkt en houd de deur vooral open.

Het maakt uit of je de deur openzet en mensen uitnodigt om van zich te laten horen. Daarmee laat je zien dat andere stemmen ertoe doen en zullen mensen als dat nodig is eerder van zich laten horen.

Conclusie

En? Zit er tussen deze tien excuses een die jou of je collega’s wellicht ook hindert in het luisteren? Kun jij je voorstellen dat je, misschien zonder het te weten, een van deze redenen over het hoofd hebt gezien?

Zeker in een tijd van verminderd direct contact is luisteren essentieel. Je werkt misschien meer op afstand, komt je doelgroepen waarschijnlijk minder vaak tegen en hoort minder. Het is dan nog belangrijker om te denken in mogelijkheden en kansen. Opgehaalde inzichten, mogelijkheden en ervaringen van de doelgroep helpen om in het beleid rekening te houden met de verschillende perspectieven van belanghebbenden. Ook als je er niet (direct) iets mee doet, versterkt het de relatie en betrokkenheid met de achterban. Het vergroot de kwaliteit en het bestaansrecht van publieke diensten en organisaties als je aan kunt sluiten bij mensen voor wie je het beleid maakt en uitvoert. Bovendien gaat dat wat gebeurt in de de publieke sector, anderen aan. Beslissingen, keuzes en beleid worden genomen in het belang van jongeren, ouderen, patiënten, klagers, bewoners, medewerkers en belangengroepen.

Wie niet goed luistert, zet zichzelf buitenspel. Wie luistert en in verbinding staat met de doelgroep kan beter inspelen op behoeften en kan contact maken wanneer dat nodig is. Door goed te luisteren én te leren van je doelgroep zorg je dat je werk relevant blijft en écht bijdraagt.

Dit artikel is verschenen op Overheidincontact.nl

Auteurs: Manja Bomhoff & Marjolein de Jong.

 

 

 

 

 

 

 

 

 

 

De ene evaluatie is de andere niet. Het kan op zoveel manieren.  Onderzoeken of evalueren van beleid wordt te vaak gepresenteerd als een soort neutrale bezigheid. Terwijl je tijdens een evaluatie constant keuzes maakt en belangen afweegt. Sommige van die keuzes zijn onderwerp afhankelijk. Maar er zijn ook algemene keuzes die van te voren en tijdens een onderzoek gemaakt moeten worden. Die keuzes hebben te maken met het doel van de evaluatie.

Onze evaluaties zijn gericht op het leren of verbeteren. In dit artikel laten we zien wat voor keuzes daar volgens ons bij horen. Onze evaluatie van de klachtbehandeling bij Defensie gebruiken we ter illustratie.

Je sluit aan bij de betrokkenheid die er al is

Als het doel van evalueren is om er beter van te worden, dan moet je aansluiten bij de mensen die het echte werk doen. Alleen zo respecteer en vergroot je hun betrokkenheid. In het geval van klachtenbehandeling zijn dat dan in de eerste plaats de mensen die klachten behandelen. Daarnaast spelen ook betrokken leidinggevenden en allerlei adviseurs een belangrijke rol. Met elkaar zijn dit de mensen van wie je wil dat ze verbeteringen gaan doorvoeren. Ook lang nadat wij als onderzoekers ons rapport hebben opgeleverd. Daarom proberen we ons in onze onderzoeken zoveel mogelijk te richten op hun toekomst.

Daarnaast kan geen enkel beleid worden geëvalueerd zonder de ervaringen van de mensen voor wie het beleid bedoeld is centraal te stellen. De ene keer is dit makkelijker te organiseren dan de andere. Maar er is altijd wel een manier om de gebruiker of de burger te betrekken. In dit geval waren dat de klagers en beklaagden bij Defensie. We spraken een groot aantal, we analyseerden hun ervaringen en we gaven ze (letterlijk) een grote stem in het rapport.

Je kiest een dynamisch perspectief

Het is onze ervaring dat een dynamisch perspectief (een ‘film’ in plaats van een ‘foto’) meer betrokkenheid en waardevolle inzichten oplevert. Dynamisch evalueren betekent dat je aandacht geeft aan waar de organisatie vandaan komt. Daarnaast kijk je ook naar hoe de organisatie zich heeft ontwikkeld. Hoe de organisatie verder open kan staan voor verbeteren en leren. Voor de mensen die dagelijks met het onderwerp bezig zijn is het belangrijk dat hun werk in deze context wordt gezien.

Het gaat daarbij niet om het opleveren van een zo precies mogelijke omschrijving van gebeurtenissen uit het verleden. Een evaluatie die vooral terugkijkt en gericht is op waarheidsvinding of verantwoording roept vaak nóg meer terugkijken op. Dat is niet bevorderlijk voor zelfreflectie. De reacties op zulke rapporten kosten een organisatie veel energie en leveren weinig op. Een evaluatie die recht doet aan de belangen en waarden van betrokkenen, leidt over het algemeen tot meer herkenning, meer reflectie en meer motivatie om te blijven leren.

Je begint een evaluatie daarom altijd met de waarom-vraag. Wat had het beleid als doel? Welke verschillende visies lagen eronder ten grondslag? Hoe verhouden die zich tot elkaar? In de evaluatie van de klachtbehandeling bij Defensie gingen we hier in het eerste hoofdstuk nadrukkelijk op in.

Wat is ‘goed’ en wat niet? Je bent open over de normatieve kaders

Wanneer je wil dat de mensen binnen een organisatie verder kunnen met een evaluatie is het belangrijk dat je als onderzoeker niet doet alsof slechts wij de waarheid in pacht hebben. Ons past, als passerende buitenstaanders immers ook enige bescheidenheid. Dat uit zich niet in een gebrek aan lef of oordeel. Je bescheidenheid krijgt vooral vorm in openheid over de normatieve kaders die je gebruikt. Want wat is ‘goed’ en wat niet? Het is belangrijk om kleur te bekennen en zorgvuldig in te gaan op de normatieve kaders die je gebruikt.

In het evaluatierapport voor Defensie schreven we: “Met zoveel verschillende perspectieven op klachtbehandeling zijn er ook verschillende ideeën over wat klachtbehandeling ‘goed’ maakt. Ook de vraag of Defensie een probleem heeft met klachtbehandeling en zo ja, hoe groot dit probleem is, kan beantwoord worden vanuit verschillende normatieve kaders. Er zijn veel manieren waarop klachtbehandeling ‘goed’ kan verlopen: variatie ontstaat door verschillende doelen, contexten en mensen. Er is dan ook niet een vaststaand evaluatieprotocol dat door middel van een vinklijstje simpel afgewerkt kan worden. Tegelijkertijd zijn er natuurlijk wel degelijk ideeën over wat wel en niet werkt en wat een goede, of zorgvuldige klachtbehandeling zou moeten inhouden. We onderscheiden in dit onderzoek drie normatieve kaders die elkaar deels kunnen overlappen: beleidstheorie Defensie; ombudsvisie professionele klachtbehandeling; onafhankelijke geïnformeerde blik van evaluatoren’. Vervolgens gingen we op elk van deze kaders dieper in.

Je bent kritisch, maar zoekt ook naar wat wél werkt

Van goede voorbeelden leer je vaak meer dan van verkeerde. Het is daarom belangrijk om expliciet op zoek te gaan naar inspirerende voorbeelden en deze ook een plek te geven. Natuurlijk moet er ook ruimte zijn voor de omschrijving van negatieve ervaringen of tekortkomingen. Je stelt kritische vragen en vraagt door. Daarmee wil je mogelijke vanzelfsprekendheden, gaten of discrepanties tussen de bedoeling en de uitwerking boven tafel krijgen. Je doet dat niet om ‘de waarheid boven tafel te krijgen’. Veel interessanter dan een enkelvoudige waarheid zijn namelijk de verschillende overtuigingen van betrokkenen.

Erkenning van verschillen helpt bij het vergroten van de interesse in elkaars ervaringen. In het geval van de evaluatie bij defensie gaven we bijvoorbeeld veel aandacht aan de ervaringen van klagers en beklaagden, maar ook aan de leidinggevenden en de verschillende adviseurs met een belangrijke ondersteunende rol. Door deze ervaringen te delen gun je betrokkenen de mogelijkheid om eigen inzichten te ontwikkelen over mogelijke verbeteringen.

Ervaringen analyseer je om ervan te kunnen leren

In evaluaties gericht op leren staan dus de ervaringen met het proces centraal. Je kijkt naar die facetten van het proces die ervarings- en procesdeskundigen het belangrijkst vinden. Maar ervaringen worden niet één-op-één overgenomen. Je analyseert op welke manieren facetten uit die ervaringen een rol kunnen spelen. Daarbij kijk je naar wat de uitwerking en betekenis van bepaalde ervaringen kunnen zijn.

Sommige evaluaties richten zich met name op de beschrijving van procesindicatoren. In het geval van klachtbehandeling wordt er dan bijvoorbeeld vooral gekeken naar de wettelijk vastgestelde termijnen.

In het geval van Defensie was er in eerdere rapporten (zoals die van de Nationale ombudsman/Veteranenombudsman en van de commissie-Giebels) al meerdere malen geconstateerd dat die binnen Defensie vaak werden overschreden. Als je de nadruk wil leggen op het leren wordt het dan al gauw interessanter om te begrijpen wat de overschrijding van zo’n termijn kan betekenen. In welke gevallen zijn de termijnen belangrijk voor de ervaring? Hoe kijken procesdeskundigen daar tegenaan? Welke factoren spelen (mogelijk) een rol bij de tijd die het kost om binnen de organisatie klachten af te handelen? Antwoorden op dit soort vragen bieden een organisatie meer handvatten om te zoeken naar constructieve (en vooral ook bij de organisatie passende) strategieën. Een evaluatie gericht op leren streeft naar representativiteit op het niveau van factoren die van invloed zijn op de ervaring van klachtbehandeling. Niet op het niveau van het proces.

Je bent dichtbij én onafhankelijk

Omdat betrokkenheid niet spontaan ontstaat na afloop van een onderzoek voer je een evaluatieonderzoeken gericht op leren het liefst zo dicht mogelijk op de organisatie(s) uit. Je legt tussentijdse bevindingen zoveel mogelijk voor aan bijvoorbeeld een interne begeleidingscommissie. Zo neem je ze mee in de aanpak en de uitkomst van het onderzoek. Je luistert naar de reacties die tussentijdse bevindingen en keuzes oproepen en laat commissieleden hardop meedenken over wat hen belangrijk of productief lijkt.

Soms is er de angst dat dit ten koste gaat van je onafhankelijkheid. Dat hoeft niet zo te zijn. Als je helder bent over de reden waarom je je oor te luister wil leggen kun je je vervolgens nog altijd volkomen vrij opstellen in het opschrijven van de bevindingen en de methodologische (on)mogelijkheden. Het kan daarbij ook helpen om een externe leescommissie in te stellen, zeker wanneer het onderwerp complex is of (politiek) gevoelig ligt.

In het geval van de evaluatie bij Defensie hielpen zowel de begeleidingscommissie als de externe leescommissie ons met onze reflectie op het proces en de inhoud. Het sterkt je in je onafhankelijkheid ten opzichte van je opdrachtgever.

Aanbevelingen stel je op in dialoog

Ook bij het opstellen van aanbevelingen zoek je nadrukkelijk de dialoog met verschillende gesprekspartners binnen de opdrachtgevende organisatie. In de interactie tussen onderzoekers, ambtenaren en bestuurders is het vervolgens altijd wat zoeken naar hoe aanbevelingen zullen worden geïnterpreteerd en opgepakt. Als onderzoeker probeer je hier op een open wijze en passend bij je specifieke rol een productieve invloed op uit te oefenen. Daar hoort vaak ook enige nazorg bij in de vorm van presentaties, discussies of adviessessies. Maar uiteindelijk hoort bij leren ook eigenaarschap. Het is aan de organisatie zelf om de vervolgstappen te zetten.