Heb je wel eens het idee dat een onderzoek over de verkeerde vraag is gegaan? Dat het meer oplevert om op een andere manier te kijken?

Onderzoek wordt te veel gezien als iets dat heel groot, heel moeilijk en heel onafhankelijk moet zijn. Terwijl, onderzoek kan op veel meer manieren waardevol zijn.

Zo hoeft een onderzoek lang niet altijd te leiden tot uitkomsten die in een experimentele setting zijn na te bootsen. Of die als resultaat hebben dat we weten hoe de meerderheid ergens over beslist. Sterker nog, er zijn veel vragen waarbij zulke aanpakken helemaal niet goed passen.

Wij zien veel professionals en bestuurders die het onderzoeken helemaal overlaten aan buitenstaanders en experts. Dat is zonde. Iedereen die werkt in de publieke sector zou zo af en toe met een onderzoekende blik naar het eigen werkveld moeten kijken. Om meer begrip te krijgen van achterliggende beweegredenen van burgers bijvoorbeeld. Of om door te denken over de vraag of er andere manieren zijn om te kijken of het beleid goed uitpakt.

Deze plaat met tien onderzoekende blikken is bedoeld ter inspiratie. Natuurlijk is onderzoeken een vak: je moet leren wat goede vragen zijn, kritisch doordenken, ervaring opdoen, ethische consequenties doorgronden en ga zo door. En bij sommige onderzoeken wil je zeker zijn van de kwaliteit, van de zorgvuldigheid, of juist van de objectiviteit van de uitvoering.

Iedereen een onderzoekende blik

Maar hoewel niet iedereen onderzoeker is, kan wel iedereen een onderzoekende houding aannemen. Door kritisch te kijken, vragen te stellen, te reflecteren, nieuwsgierig te zijn, actief te zoeken naar tegenspraak, creatief na te denken of te zoeken naar rode draden. Eigenschappen die je als professional sowieso nodig hebt om in de publieke sector goed je werk te kunnen doen, problemen op te lossen en aan te sluiten bij wat er nodig is.

Pak dus de volgende keer dat er een vraagstuk voorligt eens deze plaat erbij. Bedenk welke blikken al aanwezig zijn in de vragen die worden gesteld en kijk eens of er ook nog andere blikken zijn die jullie verder zouden kunnen helpen. Misschien dat je zo op nieuwe vragen komt of een ander beeld krijgt van de informatie of inzichten die je op wil doen. Onderzoek is veel te inspirerend, maar ook veel te belangrijk, om helemaal over te laten aan anderen.

Deze plaat is gemaakt door Manja Bomhoff (Het Inzichtenlab) en Marjolein de Jong (Young Inspiration) en is ontworpen door Welmoet de Graaf.

Maakt de plaat je nieuwsgierig? De komende tijd gaan we wat dieper in op verschillende van deze blikken. Als je ons laat weten waar jij wel meer over wil horen dan gaan we daar mee aan de slag!

Voor jou. Een cadeautje van het Inzichtenlab. Print het Terug- en vooruitkijkboekje 2020-2021 (pdf) dubbelzijdig uit en doe er je voordeel mee.

Wij wensen je goede feestdagen en een gezond 2021!

Hartelijke groeten,

Yvonne van der Vlugt en Manja Bomhoff

 

n=1 complex

Zo kom je af van je N=1-complex

In veel publieke sectoren is de nadruk komen te liggen op evidentie, generaliseerbaarheid en big data. Individuele ervaringen tellen niet. Maar wanneer de dooddoener ‘een n=1-verhaal’ wordt uitgesproken kan het zijn dat er belangrijke informatie terzijde wordt geschoven.

De gezondheidszorg dient vaak als voorbeeld. In deze sector gold lange tijd: hoe meer data hoe beter. Soms is deze manier van denken heel nuttig. U profiteert hierdoor bijvoorbeeld, wanneer u naar uw huisarts gaat, niet alleen van haar kennis maar ook van de geaggregeerde kennis van haar collega’s. Bij beleid(-sevaluaties) wordt daarom vooral gezocht naar wat werkt voor grote groepen mensen, niet alleen naar wat werkt voor de mensen die het hardst roepen.

Doorgeslagen

Maar wanneer individuele ervaringen er niet meer toe doen wordt in potentie nuttige informatie genegeerd. Er wordt niet meer naar mensen geluisterd. Zo missen we informatie uit meer gedetailleerde verhalen over complexere situaties of processen. Informatie die niet generaliseerbaar is voor een grotere groep, maar toch inzichten kan opleveren die voor meer mensen van waarde zijn. In het boek ‘Weten vraagt meer dan meten’ leest u welke gevolgen dat kan hebben.

Kwalitatieve analyse

In het dagelijkse werk mag het N=1-complex best wat vaker opzij worden geschoven. Als iets niet vaak voorkomt, of u het nog niet vaak heeft gehoord wil dat niet zeggen dat het geen analytische aandacht verdient. Sommige klachten bijvoorbeeld hoort u maar één keer, maar kunnen toch van onschatbare waarde zijn. Gouden klachten: omdat ze inzicht geven in een ander perspectief, laten zien hoe iets kan overkomen, waarschuwen voor een structurele tekortkoming etc.

Publieke organisaties gebruiken steeds vaker kwalitatief onderzoek, bijvoorbeeld om verhalen te verzamelen. Maar te vaak nog wordt die methode alleen als ‘extraatje’ ingezet of vooral vanuit communicatieoogpunt gebruikt (‘persoonlijke verhalen trekken immers in teksten de aandacht’). Daarbij wordt de analytische stap vaak overgeslagen.

Tot ziens

Een verpleegkundige vertelde dat een bewoner met chronische pijn en vermoeidheid werd gevraagd hoe de zorg voor haar beter kon. Na veel aandringen gaf de bewoner één suggestie. Ze vond het naar dat mensen haar bij het verlaten van haar appartement iedere keer een ‘fijne dag’ wensten. Ze had namelijk zelden nog écht fijne dagen en hoorde dus liever ‘tot ziens’ dan een onbereikbare wens. Is dit een n=1 verhaal? Jazeker! Maar heeft het daardoor slechts betrekking op één iemand en daarmee beperkte waarde? Nee, zo’n opmerking nodigt juist uit tot verder nadenken en verder onderzoek.

In ‘Inspecteurs over hun vak’ komen elf inspecteurs aan het woord over het inspectievak. Dat zijn er niet veel. En toch geven ze met elkaar een waardevol inkijkje in de dilemma’s, overwegingen, uitdagingen die ze zoal tegenkomen. Is dat volledig? Weten we nu wat alle inspecteurs vinden of meemaken? Nee, zeker niet. De ervaringen van de inspecteurs geven door de gedetailleerdheid stof tot nadenken en gesprek. Hier heeft de hele organisatie wat aan.

Verder onderzoek

N=1 is daarom niet het eindpunt maar het startpunt voor verder onderzoek. Stelt u zichzelf ter oefening de volgende keer dat u uw n=klein-complex opmerkt om te beginnen eens de volgende vragen:

  • Waarom voelde iemand de neiging om dit verhaal te vertellen?
  • Welke betekenis heeft dit verhaal voor de verteller?
  • Wat zegt dit ons?
  • Wat vind ik ervan als dit zich heeft voorgedaan?
  • Als dit voor deze persoon geldt, wat zou dit dan kunnen zeggen over andere gevallen?
  • Als dit voor anderen zou gelden, zouden wij dit dan (kunnen) horen?
  • Zou het de moeite waard zijn om uit te vinden of ditzelfde verhaal ook voor anderen geldt?

Deze en veel andere vragen zijn de moeite waard om vaker te stellen. Ze vormen voor Het Inzichtenlab een rode draad in onze onderzoeken. Dat kun je bijvoorbeeld terugzien in onze evaluaties van de klachtbehandeling bij Defensie of van particuliere bewindvoering. Ze vormen ook een belangrijke pijler onder ons werk op het gebied van leren van klachten.

De publieke sector kan alleen beter worden als er oog is voor verschillende perspectieven. Dat kan alleen als n=1-ervaringen op waarde worden geschat.

 

Inspecteur Karin
Met ondertoezichtstaanden in gesprek over het inspectiewerk: waarom zou je dat doen?

Voor het Toezichtsfestival maakten we een krantje met verschillende verhalen van onderzoekende inspecteurs. Hier het eerste artikel, met een preview van het onderzoek van Karin Baselmans.

Het voeren van gesprekken is een belangrijk instrument voor inspecteurs, zo horen we van inspecteurs van verschillende inspecties. In een gesprek met ondertoezichtstaanden kun je ‘informeren naar hoe het gaat’. Je kunt achterhalen ‘waarom wetgeving niet wordt gevolgd’. Of ‘draagvlak creëren voor een interventie’ en zo ‘een organisatie in de juiste richting krijgen’. Maar is het gesprek alleen een bruikbaar toezichtinstrument, of kun je ook los van het directe inspectiewerk met ondertoezichtstaanden spreken over het toezicht, kwaliteit of risico’s?

Verschillende soorten gesprekken

Een verdiepend, reflecterend gesprek met ondertoezichtstaanden kan op verschillende manieren worden ingevuld. Bijvoorbeeld ter evaluatie van bestaand toezicht. Of om meer inzicht te krijgen in elkaars perspectief. Iedere gesprekvorm heeft andere voorwaarden, voordelen en nadelen. Inspecteurs en ondertoezichtstaanden kijken anders, zien andere risico’s, hebben (soms) andere belangen en waarden. Interessant wordt het wanneer het lukt om van ondertoezichtstaanden te horen wat zij zelf waardevol toezicht vinden en er samen vooruit gekeken kan worden. Door aan te sluiten bij wat mensen zelf belangrijk vinden (wat voor hen van waarde is) ontstaat grotere betrokkenheid. Voor de relatie en de machtsverhouding tussen inspecteur en ondertoezichtstaande biedt het bovendien ruimte wanneer er vooruit gekeken kan worden. Juist gesprekken op wat meer afstand van de dagelijkse hectiek, die breder zijn en uitnodigen tot reflectie kunnen ook makkelijker binnen de toezichtsrelatie plaatsvinden.

Angst voor valse verwachtingen

Een angst bij dit soort gesprekken is vaak dat het tot valse verwachtingen bij ondertoezichtstaanden zou kunnen leiden. Onze ervaring is dat wanneer duidelijk is dat het gesprek gevoerd wordt om te leren, ondertoezichtstaanden dit meestal heel goed begrijpen. Zeker wanneer er openlijk gesproken kan worden over dilemma’s of tegenstrijdige belangen. Het doel helder stellen helpt bijvoorbeeld ook bij het nadenken over de vraag hoe het aantal gesprekken zich moet verhouden tot het aantal ondertoezichtstaanden.

“Wat gebeurt er achter die deur als wij weg zijn?”

Inspecteur Karin Baselmans wilde graag in gesprek met een ondertoezichtstaande die haar meer inzicht zou kunnen geven in het effect van het Brzo toezicht vanuit dat perspectief.

Omdat tijd schaars is, wilde ze in gesprek met een directeur die zelf te maken heeft gehad met Brzo- inspecties, en het liefst iemand uit de ‘hogere echelons’ die ook veel contacten heeft met andere directeuren. Al snel kwam Karin bij een mogelijke gesprekspartner. Een enkele mail bleek voldoende om de afspraak te regelen. ‘Zo’n persoonlijk gesprek met een managing director vindt tijdens Brzo-inspecties ook wel plaats maar dan is het gesprek gericht op Brzo-gerelateerde zaken en de bedrijfsvoering. De insteek van dit interview was om eens vrij te kunnen praten met elkaar over persoonlijke ervaringen en om te reflecteren op de nut en noodzaak van de Brzo-inspecties, hetgeen ongewoon is. Normaal gesproken is dit een dilemma. Hij is een directe stakeholder, hij staat onder regelmatige controle en ik ben en blijf altijd ook een BOA (buitengewoon opsporingsambtenaar). Daar hoort een verantwoordelijkheid bij om iets te doen met bepaalde informatie als die mij ter ore komt.” Karin koos ervoor om het gesprek heel open te beginnen over belangen en vertrouwelijkheid, hierdoor ontstond er een mooie uitwisseling van ideeën en ervaringen die binnenkort, na toestemming van de gesprekspartner, worden opgetekend in een publicatie.

Goede vragen verzamelen

Naar ons idee is er niet één aanpak, als je maar goed nadenkt over het doel van het gesprek. Wanneer dat eenmaal helder is volgt de opzet vanzelf. Wel is het voor inspecteurs nuttig om een beeld te hebben van welk type vragen ze op welke momenten aan ondertoezichtstaanden kunnen stellen. Nu horen we nog vaak tegenwerpingen als: ‘dan geven ze vast alleen sociaal wenselijke antwoorden’ of ‘dan weten we nog niet of dat ook is wat anderen vinden’, belemmerende overtuigingen die getackeld kunnen worden met een goede opzet en passende vragen.

In het vervolg van dit project willen we daarom met een groep inspecteurs verder aan de slag om een verzameling goede vragen aan te leggen. Kortom, ook dit wordt vervolgd.

Wat bedoel jij met effect?

Wat bedoel jij met effect?

Het valt ons op dat er nog wel eens langs elkaar heen wordt gesproken wanneer het in een organisatie gaat om effect. De een heeft het vooral over het meten van effect. De ander meer over de vraag wat zin heeft. Een derde wil vooral weten wat er gedaan moet worden.

Ook zijn er verschillende ideeën over waar naar gekeken zou moeten worden: De een kijkt bijvoorbeeld naar een deel van het proces, terwijl de ander misschien vooral wil kijken naar het eindresultaat. De een is benieuwd naar de korte, de ander naar de langere termijn. En de een wil vooral focussen op het merkbare en de ander houdt het liever bij het meetbare.

Duidelijkheid is een belangrijke voorwaarde

In effectonderzoek is het allereerst belangrijk dat je met elkaar duidelijkheid hebt over waarom je het eigenlijk over effect wil hebben. Pas daarna kun je zinnig gaan nadenken over hoe dat er dan uit zou moeten komen te zien. Eerder al schreven we deze blog over hoe het onderzoeken van effect om maatwerk vraagt. Nu hebben we, op basis van jullie opmerkingen en reflecties ook een opzet gemaakt voor een praatplaat: “Wat bedoel jij met effect?”. Zie het bijgevoegde document.

Wat bedoel jij met effect?

Wat bedoel jij met effect (Download pdf)

De plaat en de bijbehorende vragen (zie de pdf) zijn nog work-in-progress. We gaan er binnenkort weer verder over gesprek in één van de deelnemende inspecties aan ‘Inspecteurs over hun vak’

Wat denkt u: Zou iets als het bijgevoegde kunnen helpen om zo’n gesprek met elkaar te voeren? Wat zou er wel of niet goed kunnen werken? Mist er iets, of brengt dit op andere ideeën? Bijvoorbeeld voor een andere fase in het gesprek over, of het in kaart brengen van, effect? Wij vinden het vooral belangrijk dat het gesprek hierover op een zinnige manier gevoerd wordt. Professionals, zo is onze indruk, verliezen eigenaarschap en betrokkenheid wanneer er teveel langs elkaar heen wordt gepraat.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**