n=1 complex

Zo kom je af van je N=1-complex

In veel publieke sectoren is de nadruk komen te liggen op evidentie, generaliseerbaarheid en big data. Individuele ervaringen tellen niet. Maar wanneer de dooddoener ‘een n=1-verhaal’ wordt uitgesproken kan het zijn dat er belangrijke informatie terzijde wordt geschoven.

De gezondheidszorg dient vaak als voorbeeld. In deze sector gold lange tijd: hoe meer data hoe beter. Soms is deze manier van denken heel nuttig. U profiteert hierdoor bijvoorbeeld, wanneer u naar uw huisarts gaat, niet alleen van haar kennis maar ook van de geaggregeerde kennis van haar collega’s. Bij beleid(-sevaluaties) wordt daarom vooral gezocht naar wat werkt voor grote groepen mensen, niet alleen naar wat werkt voor de mensen die het hardst roepen.

Doorgeslagen

Maar wanneer individuele ervaringen er niet meer toe doen wordt in potentie nuttige informatie genegeerd. Er wordt niet meer naar mensen geluisterd. Zo missen we informatie uit meer gedetailleerde verhalen over complexere situaties of processen. Informatie die niet generaliseerbaar is voor een grotere groep, maar toch inzichten kan opleveren die voor meer mensen van waarde zijn. In het boek ‘Weten vraagt meer dan meten’ leest u welke gevolgen dat kan hebben.

Kwalitatieve analyse

In het dagelijkse werk mag het N=1-complex best wat vaker opzij worden geschoven. Als iets niet vaak voorkomt, of u het nog niet vaak heeft gehoord wil dat niet zeggen dat het geen analytische aandacht verdient. Sommige klachten bijvoorbeeld hoort u maar één keer, maar kunnen toch van onschatbare waarde zijn. Gouden klachten: omdat ze inzicht geven in een ander perspectief, laten zien hoe iets kan overkomen, waarschuwen voor een structurele tekortkoming etc.

Publieke organisaties gebruiken steeds vaker kwalitatief onderzoek, bijvoorbeeld om verhalen te verzamelen. Maar te vaak nog wordt die methode alleen als ‘extraatje’ ingezet of vooral vanuit communicatieoogpunt gebruikt (‘persoonlijke verhalen trekken immers in teksten de aandacht’). Daarbij wordt de analytische stap vaak overgeslagen.

Tot ziens

Een verpleegkundige vertelde dat een bewoner met chronische pijn en vermoeidheid werd gevraagd hoe de zorg voor haar beter kon. Na veel aandringen gaf de bewoner één suggestie. Ze vond het naar dat mensen haar bij het verlaten van haar appartement iedere keer een ‘fijne dag’ wensten. Ze had namelijk zelden nog écht fijne dagen en hoorde dus liever ‘tot ziens’ dan een onbereikbare wens. Is dit een n=1 verhaal? Jazeker! Maar heeft het daardoor slechts betrekking op één iemand en daarmee beperkte waarde? Nee, zo’n opmerking nodigt juist uit tot verder nadenken en verder onderzoek.

In ‘Inspecteurs over hun vak’ komen elf inspecteurs aan het woord over het inspectievak. Dat zijn er niet veel. En toch geven ze met elkaar een waardevol inkijkje in de dilemma’s, overwegingen, uitdagingen die ze zoal tegenkomen. Is dat volledig? Weten we nu wat alle inspecteurs vinden of meemaken? Nee, zeker niet. De ervaringen van de inspecteurs geven door de gedetailleerdheid stof tot nadenken en gesprek. Hier heeft de hele organisatie wat aan.

Verder onderzoek

N=1 is daarom niet het eindpunt maar het startpunt voor verder onderzoek. Stelt u zichzelf ter oefening de volgende keer dat u uw n=klein-complex opmerkt om te beginnen eens de volgende vragen:

  • Waarom voelde iemand de neiging om dit verhaal te vertellen?
  • Welke betekenis heeft dit verhaal voor de verteller?
  • Wat zegt dit ons?
  • Wat vind ik ervan als dit zich heeft voorgedaan?
  • Als dit voor deze persoon geldt, wat zou dit dan kunnen zeggen over andere gevallen?
  • Als dit voor anderen zou gelden, zouden wij dit dan (kunnen) horen?
  • Zou het de moeite waard zijn om uit te vinden of ditzelfde verhaal ook voor anderen geldt?

Deze en veel andere vragen zijn de moeite waard om vaker te stellen. Ze vormen voor Het Inzichtenlab een rode draad in onze onderzoeken. Dat kun je bijvoorbeeld terugzien in onze evaluaties van de klachtbehandeling bij Defensie of van particuliere bewindvoering. Ze vormen ook een belangrijke pijler onder ons werk op het gebied van leren van klachten.

De publieke sector kan alleen beter worden als er oog is voor verschillende perspectieven. Dat kan alleen als n=1-ervaringen op waarde worden geschat.

 

‘Aandacht voor wat werkt’: de tussenstand in de vorm van een krant

Een actieonderzoek met en over inspecteurs, dat is het lopende project ‘Aandacht voor wat werkt’ dat onderzoeksbureau het Inzichtenlab uitvoert in opdracht van Bureau Inspectieraad. De eerste tussenresultaten staan beschreven in een krantje. Dit zou oorspronkelijk op het Toezichtfestival worden uitgedeeld, maar daar stak de coronacrisis een stokje voor. Wel is de krant digitaal beschikbaar.

Onderzoek het zelf

In ‘Aandacht voor wat werkt’ gaan inspecteurs bovenal zélf als onderzoekers aan de slag. Dat doen ze aan de hand van vragen die bij henzelf leven over hun werk en de effecten van toezicht. Zoals de vraag: hoe kunnen we goede voorbeelden van impact beter verzilveren? Maar het onderzoeksproject beschouwt reflectie niet alleen als vórm van onderzoek maar ook als ónderwerp van onderzoek. Wat gebeurt er als je professionals op deze manier laat reflecteren op hun vak? Komen er dingen naar boven die anders onzichtbaar waren gebleven? Komt er verdieping in begrippen als uniformiteit, kwaliteit, risico’s en impact en zo ja: welke? En nog een niveau abstracter: wat zeggen zulke inzichten over de huidige en/of gewenste manieren van aansturing en verantwoording en hoe kunnen we daarin nieuwe wegen verkennen?

Perspectief van inspecteurs

Dr. Manja Bomhoff van Het Inzichtenlab: “Wanneer je begint vanuit het perspectief van inspecteurs, zie je andere dingen dan wanneer een onderzoeks- of verantwoordingsvraag het startpunt van onderzoek bepaalt. Het meetbare en het grootschalige krijgt vaak meer aandacht dan het merkbare of het alledaagse. In dit project gaan we op zoek naar de balans. We kijken naar wat er zit tussen evidence enerzijds en ervaring en intuïtie anderzijds.”

Het digitale krantje is via deze link te lezen.

Het actieonderzoek is een vervolg op het eerdere onderzoekproject ‘Inspecteurs over hun vak’, dat in 2017 al resulteerde in een boekje met de gelijknamige titel en maakt onderdeel uit van de professionaliseringsagenda van Bureau Inspectieraad

Inspecteur Karin
Met ondertoezichtstaanden in gesprek over het inspectiewerk: waarom zou je dat doen?

Voor het Toezichtsfestival maakten we een krantje met verschillende verhalen van onderzoekende inspecteurs. Hier het eerste artikel, met een preview van het onderzoek van Karin Baselmans.

Het voeren van gesprekken is een belangrijk instrument voor inspecteurs, zo horen we van inspecteurs van verschillende inspecties. In een gesprek met ondertoezichtstaanden kun je ‘informeren naar hoe het gaat’. Je kunt achterhalen ‘waarom wetgeving niet wordt gevolgd’. Of ‘draagvlak creëren voor een interventie’ en zo ‘een organisatie in de juiste richting krijgen’. Maar is het gesprek alleen een bruikbaar toezichtinstrument, of kun je ook los van het directe inspectiewerk met ondertoezichtstaanden spreken over het toezicht, kwaliteit of risico’s?

Verschillende soorten gesprekken

Een verdiepend, reflecterend gesprek met ondertoezichtstaanden kan op verschillende manieren worden ingevuld. Bijvoorbeeld ter evaluatie van bestaand toezicht. Of om meer inzicht te krijgen in elkaars perspectief. Iedere gesprekvorm heeft andere voorwaarden, voordelen en nadelen. Inspecteurs en ondertoezichtstaanden kijken anders, zien andere risico’s, hebben (soms) andere belangen en waarden. Interessant wordt het wanneer het lukt om van ondertoezichtstaanden te horen wat zij zelf waardevol toezicht vinden en er samen vooruit gekeken kan worden. Door aan te sluiten bij wat mensen zelf belangrijk vinden (wat voor hen van waarde is) ontstaat grotere betrokkenheid. Voor de relatie en de machtsverhouding tussen inspecteur en ondertoezichtstaande biedt het bovendien ruimte wanneer er vooruit gekeken kan worden. Juist gesprekken op wat meer afstand van de dagelijkse hectiek, die breder zijn en uitnodigen tot reflectie kunnen ook makkelijker binnen de toezichtsrelatie plaatsvinden.

Angst voor valse verwachtingen

Een angst bij dit soort gesprekken is vaak dat het tot valse verwachtingen bij ondertoezichtstaanden zou kunnen leiden. Onze ervaring is dat wanneer duidelijk is dat het gesprek gevoerd wordt om te leren, ondertoezichtstaanden dit meestal heel goed begrijpen. Zeker wanneer er openlijk gesproken kan worden over dilemma’s of tegenstrijdige belangen. Het doel helder stellen helpt bijvoorbeeld ook bij het nadenken over de vraag hoe het aantal gesprekken zich moet verhouden tot het aantal ondertoezichtstaanden.

“Wat gebeurt er achter die deur als wij weg zijn?”

Inspecteur Karin Baselmans wilde graag in gesprek met een ondertoezichtstaande die haar meer inzicht zou kunnen geven in het effect van het Brzo toezicht vanuit dat perspectief.

Omdat tijd schaars is, wilde ze in gesprek met een directeur die zelf te maken heeft gehad met Brzo- inspecties, en het liefst iemand uit de ‘hogere echelons’ die ook veel contacten heeft met andere directeuren. Al snel kwam Karin bij een mogelijke gesprekspartner. Een enkele mail bleek voldoende om de afspraak te regelen. ‘Zo’n persoonlijk gesprek met een managing director vindt tijdens Brzo-inspecties ook wel plaats maar dan is het gesprek gericht op Brzo-gerelateerde zaken en de bedrijfsvoering. De insteek van dit interview was om eens vrij te kunnen praten met elkaar over persoonlijke ervaringen en om te reflecteren op de nut en noodzaak van de Brzo-inspecties, hetgeen ongewoon is. Normaal gesproken is dit een dilemma. Hij is een directe stakeholder, hij staat onder regelmatige controle en ik ben en blijf altijd ook een BOA (buitengewoon opsporingsambtenaar). Daar hoort een verantwoordelijkheid bij om iets te doen met bepaalde informatie als die mij ter ore komt.” Karin koos ervoor om het gesprek heel open te beginnen over belangen en vertrouwelijkheid, hierdoor ontstond er een mooie uitwisseling van ideeën en ervaringen die binnenkort, na toestemming van de gesprekspartner, worden opgetekend in een publicatie.

Goede vragen verzamelen

Naar ons idee is er niet één aanpak, als je maar goed nadenkt over het doel van het gesprek. Wanneer dat eenmaal helder is volgt de opzet vanzelf. Wel is het voor inspecteurs nuttig om een beeld te hebben van welk type vragen ze op welke momenten aan ondertoezichtstaanden kunnen stellen. Nu horen we nog vaak tegenwerpingen als: ‘dan geven ze vast alleen sociaal wenselijke antwoorden’ of ‘dan weten we nog niet of dat ook is wat anderen vinden’, belemmerende overtuigingen die getackeld kunnen worden met een goede opzet en passende vragen.

In het vervolg van dit project willen we daarom met een groep inspecteurs verder aan de slag om een verzameling goede vragen aan te leggen. Kortom, ook dit wordt vervolgd.

Wat bedoel jij met effect?

Wat bedoel jij met effect?

Het valt ons op dat er nog wel eens langs elkaar heen wordt gesproken wanneer het in een organisatie gaat om effect. De een heeft het vooral over het meten van effect. De ander meer over de vraag wat zin heeft. Een derde wil vooral weten wat er gedaan moet worden.

Ook zijn er verschillende ideeën over waar naar gekeken zou moeten worden: De een kijkt bijvoorbeeld naar een deel van het proces, terwijl de ander misschien vooral wil kijken naar het eindresultaat. De een is benieuwd naar de korte, de ander naar de langere termijn. En de een wil vooral focussen op het merkbare en de ander houdt het liever bij het meetbare.

Duidelijkheid is een belangrijke voorwaarde

In effectonderzoek is het allereerst belangrijk dat je met elkaar duidelijkheid hebt over waarom je het eigenlijk over effect wil hebben. Pas daarna kun je zinnig gaan nadenken over hoe dat er dan uit zou moeten komen te zien. Eerder al schreven we deze blog over hoe het onderzoeken van effect om maatwerk vraagt. Nu hebben we, op basis van jullie opmerkingen en reflecties ook een opzet gemaakt voor een praatplaat: “Wat bedoel jij met effect?”. Zie het bijgevoegde document.

Wat bedoel jij met effect?

Wat bedoel jij met effect (Download pdf)

De plaat en de bijbehorende vragen (zie de pdf) zijn nog work-in-progress. We gaan er binnenkort weer verder over gesprek in één van de deelnemende inspecties aan ‘Inspecteurs over hun vak’

Wat denkt u: Zou iets als het bijgevoegde kunnen helpen om zo’n gesprek met elkaar te voeren? Wat zou er wel of niet goed kunnen werken? Mist er iets, of brengt dit op andere ideeën? Bijvoorbeeld voor een andere fase in het gesprek over, of het in kaart brengen van, effect? Wij vinden het vooral belangrijk dat het gesprek hierover op een zinnige manier gevoerd wordt. Professionals, zo is onze indruk, verliezen eigenaarschap en betrokkenheid wanneer er teveel langs elkaar heen wordt gepraat.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Zelf onderzoeken
Wat is voor jou als professional een belangrijke vraag?

Dat wij het belang zien van onderzoekende professionals is evident. Onze ‘Onderzoek het zelf’ aanpak is een heel bewuste keuze. Professionals met een vraag verdienen analytische aandacht. Het wordt nog veel mooier wanneer deelnemers zelf laten weten wat het doen van onderzoek bij hen teweeg brengt.

Wij merken hoe het voor de professionals die deelnemen aan onze trajecten soms al bijzonder is dat hen wordt gevraagd wat zij zouden willen onderzoeken. “Wat vind jij belangrijk en de moeite om nader te bekijken waard?” Het is een vraag die ze blijkbaar niet gewend zijn te krijgen. Sommige professionals schrikken en beginnen gelijk over hun gebrek aan onderzoeksachtergrond of laten op een andere manier onzekerheid blijken: onderzoeken is vast te ingewikkeld of te tijdrovend. “En misschien is er al wel lang een antwoord op mijn vraag, maar weet ik het gewoon nog niet”.

Onderzoek doen is emanciperend, inspirerend en gewoon leuk

Wij zien steeds weer dat wanneer deze hobbels eenmaal zijn genomen, het proces van onderzoek emanciperend en inspirerend werkt. Het zelf mogen bepalen van een onderzoeksfascinatie. Het, met ondersteuning, zelf bedenken van een aanpak die haalbaar is. Als die aanpak dan ook nog leidt tot het aangaan van nieuwe contacten, het spreken of interviewen van interessante mensen of het op een andere manier kijken naar een beleidsdocument, dan wordt duidelijk hoe ontzettend leuk en inspirerend het onderzoeken is.

Veel belangrijker dan wat wij zien is natuurlijk wat de deelnemers zelf hierover vertellen. Hoe zij als professionals met een vraag aankijken naar het onderzoek dat zij hebben uitgevoerd. We bundelden een paar uitspraken van deelnemeners aan ‘Aandacht voor wat werkt; Inspecteurs over hun vak‘ op een mooie poster gemaakt door onze vaste ontwerper Welmoet de Graaf. We maakten ook zo’n poster over meer inhoudelijke opmerkingen die ze maakten. De posters zijn een manier om de professionals te laten zien dat hun perspectief er toe doet, maar laten u ook meegenieten van hun mooie uitspraken.