Wat bedoel jij met effect?

Wat bedoel jij met effect?

Het valt ons op dat er nog wel eens langs elkaar heen wordt gesproken wanneer het in een organisatie gaat om effect. De een heeft het vooral over het meten van effect. De ander meer over de vraag wat zin heeft. Een derde wil vooral weten wat er gedaan moet worden.

Ook zijn er verschillende ideeën over waar naar gekeken zou moeten worden: De een kijkt bijvoorbeeld naar een deel van het proces, terwijl de ander misschien vooral wil kijken naar het eindresultaat. De een is benieuwd naar de korte, de ander naar de langere termijn. En de een wil vooral focussen op het merkbare en de ander houdt het liever bij het meetbare.

Duidelijkheid is een belangrijke voorwaarde

In effectonderzoek is het allereerst belangrijk dat je met elkaar duidelijkheid hebt over waarom je het eigenlijk over effect wil hebben. Pas daarna kun je zinnig gaan nadenken over hoe dat er dan uit zou moeten komen te zien. Eerder al schreven we deze blog over hoe het onderzoeken van effect om maatwerk vraagt. Nu hebben we, op basis van jullie opmerkingen en reflecties ook een opzet gemaakt voor een praatplaat: “Wat bedoel jij met effect?”. Zie het bijgevoegde document.

Wat bedoel jij met effect?

Wat bedoel jij met effect (Download pdf)

De plaat en de bijbehorende vragen (zie de pdf) zijn nog work-in-progress. We gaan er binnenkort weer verder over gesprek in één van de deelnemende inspecties aan ‘Inspecteurs over hun vak’

Wat denkt u: Zou iets als het bijgevoegde kunnen helpen om zo’n gesprek met elkaar te voeren? Wat zou er wel of niet goed kunnen werken? Mist er iets, of brengt dit op andere ideeën? Bijvoorbeeld voor een andere fase in het gesprek over, of het in kaart brengen van, effect? Wij vinden het vooral belangrijk dat het gesprek hierover op een zinnige manier gevoerd wordt. Professionals, zo is onze indruk, verliezen eigenaarschap en betrokkenheid wanneer er teveel langs elkaar heen wordt gepraat.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**

Zelf onderzoeken
Wat is voor jou als professional een belangrijke vraag?

Dat wij het belang zien van onderzoekende professionals is evident. Onze ‘Onderzoek het zelf’ aanpak is een heel bewuste keuze. Professionals met een vraag verdienen analytische aandacht. Het wordt nog veel mooier wanneer deelnemers zelf laten weten wat het doen van onderzoek bij hen teweeg brengt.

Wij merken hoe het voor de professionals die deelnemen aan onze trajecten soms al bijzonder is dat hen wordt gevraagd wat zij zouden willen onderzoeken. “Wat vind jij belangrijk en de moeite om nader te bekijken waard?” Het is een vraag die ze blijkbaar niet gewend zijn te krijgen. Sommige professionals schrikken en beginnen gelijk over hun gebrek aan onderzoeksachtergrond of laten op een andere manier onzekerheid blijken: onderzoeken is vast te ingewikkeld of te tijdrovend. “En misschien is er al wel lang een antwoord op mijn vraag, maar weet ik het gewoon nog niet”.

Onderzoek doen is emanciperend, inspirerend en gewoon leuk

Wij zien steeds weer dat wanneer deze hobbels eenmaal zijn genomen, het proces van onderzoek emanciperend en inspirerend werkt. Het zelf mogen bepalen van een onderzoeksfascinatie. Het, met ondersteuning, zelf bedenken van een aanpak die haalbaar is. Als die aanpak dan ook nog leidt tot het aangaan van nieuwe contacten, het spreken of interviewen van interessante mensen of het op een andere manier kijken naar een beleidsdocument, dan wordt duidelijk hoe ontzettend leuk en inspirerend het onderzoeken is.

Veel belangrijker dan wat wij zien is natuurlijk wat de deelnemers zelf hierover vertellen. Hoe zij als professionals met een vraag aankijken naar het onderzoek dat zij hebben uitgevoerd. We bundelden een paar uitspraken van deelnemeners aan ‘Aandacht voor wat werkt; Inspecteurs over hun vak‘ op een mooie poster gemaakt door onze vaste ontwerper Welmoet de Graaf. We maakten ook zo’n poster over meer inhoudelijke opmerkingen die ze maakten. De posters zijn een manier om de professionals te laten zien dat hun perspectief er toe doet, maar laten u ook meegenieten van hun mooie uitspraken.

Onderzoeksproces

“Wat is de definitie van ‘professionaliseren’? We kunnen toch niet zomaar onze eigen definitie gebruiken?”

Er is een bepaald beeld van wat onderzoek is. Dat geldt in het algemeen maar heeft ook zijn weerslag op onderzoek in de publieke sector. Veel van ons hebben over dit soort onderzoek geleerd als ‘de gouden standaard’ of écht onderzoek. Op allerlei manieren beïnvloedt dit beeld van ‘echt onderzoek’ hoe we kijken naar andere dingen. Zoals naar wie het voor het zeggen heeft, wanneer, en waarom.

Die dominante visie is ons ooit aangeleerd, maar wordt daarnaast dagelijks bevestigd en herhaald. In de krant, op het werk en in de tweede kamer, overal.

Terwijl de publieke sector juist ook een andere vorm van onderzoek nodig heeft.

Dat er ook andere ideeën zijn is lang niet bij iedereen bekend. Lang niet iedereen weet bijvoorbeeld dat die ideeën in andere, minder bekende hoeken van de wetenschap uitgebreid zijn doordacht. (Bijvoorbeeld in de antropologie, in gender studies, of in de wetenschapsfilosofie). Ook is lang niet iedereen op de hoogte van wat die verschillende ideeën in de praktijk voor consequenties kunnen hebben.

Het dominante beeld van onderzoek

Wij merken dagelijks hoe sterk dat dominante beeld is. Hoeveel invloed het heeft, ook op onderzoek in de publieke sector. We zien het bijvoorbeeld aan hoe er alsmaar wordt gezocht naar experts. Bijvoorbeeld om van te leren wat de definitie van ‘professionaliseren’ is. Maar het is ook te merken wanneer het gaat over hoe effecten pas echt zijn als ze gemeten, niet opgemerkt, worden. Of wanneer er weer verwacht wordt dat onderzoek ons universele waarheden zal vertellen. Terwijl we tegelijkertijd ook horen dat het altijd in de la verdwijnt.

 

Dominant beeld van onderzoek

Het dominante beeld van onderzoek

Volgens het standaard beeld van onderzoek gaat het om:

  • Een duidelijke onderzoeksprocedure met een van te voren vastgestelde route
  • Een vaststaande en leidende onderzoeksvraag
  • Een uitvoering door externe experts
  • Hoe meer informatie hoe beter (n=groot)
  • Meetbare informatie die een antwoord geven op de onderzoeksvraag
  • Een duidelijke afsluiting met een rapport of een ander (van te voren vastgesteld) eindproduct
‘Ons soort’ onderzoek

Dat wij het anders doen mag duidelijk zijn. Uit onze ervaring weten we dat de complexiteit in het publieke domein andere vormen van onderzoek nodig heeft. De dominante vorm van onderzoek laat te weinig ruimte voor verschillende perspectieven, en stelt te weinig vragen bij vanzelfsprekendheden in het beleid.

Wij hebben geleerd en ervaren dat onderzoek ook verbindend kan werken. Wanneer er oog is voor (liefst meer gedeeld) eigenaarschap en het proces aansluit op wat er nodig is. Gezamenlijke reflectie is veel te belangrijk om helemaal uit te besteden.

 

Onderzoeksproces

‘Ons soort’ onderzoek

Kenmerken van ‘ons soort’ onderzoek voor de publieke sector zijn bijvoorbeeld:

  • Onderzoek als zoektocht met een flexibel proces
  • Door eigen én externe ogen, gebruik makend van verschillende expertises (expert, ervaring, deskundig etc.)
  • Nabijheid staat onafhankelijkheid niet in de weg
  • De N doet er minder toe dan de rijkdom van de informatie
  • Het onderzoeksdoel is leidend
  • Plausabiliteit is belangrijker dan causaliteit; merkbaar belangrijker dan meetbaar
  • Verwachte en gewenste impact bepalen de vorm van de ‘producten’.

In opdrachten wordt ons nog wel eens gevraagd onze visie op onderzoek toe te lichten. Dat gebeurt bijvoorbeeld nog wel eens wanneer we in interviews. Pas nog vroeg een geïnterviewde “Maar jullie zijn toch de onderzoekers?”, nadat we hadden gevraagd wat volgens de geïnterviewde zelf het belangrijkste punt was. Ook opdrachtgevers die ons speciaal kiezen vanwege onze aanpak en resultaten, hebben soms wat extra duiding nodig van de achterliggende onderzoeksvisie. Zeker wanneer dit hun eerste kennismaking met een ‘ander soort onderzoek’ is. Het kan voor opdrachtgevers best uitdagend zijn om om te gaan met de flexibiliteit die nodig is voor een zo zinnig mogelijk onderzoek. Als niet alles van te voren vast staat, vergt dat een andere instelling dan men meestal gewend is.

In gesprek over onderzoek

De figuren maakten we om een paar van de verschillen duidelijk te maken. Werken ze ook voor u? Ze helpen ons om verwachtingen te bespreken en af te stemmen. Natuurlijk kunnen we ook het achterliggende wetenschapsfilosofische verhaal vertellen: over het onderscheid tussen verschillende onderzoeksparadigma’s (van positivistisch, post-positivistisch tot constructivistisch en kritische theorie). We merken echter dat niet iedere opdrachtgever daarop zit te wachten.

Uiteraard staat ‘ons soort’ onderzoek niet in beton gebijteld. Ook in de flexibiliteit moet flexibiliteit zitten. Bij de ene vraag zit nou eenmaal meer ruimte voor het zoeken naar passende vormen dan bij de andere. En in de ene setting is het bijvoorbeeld gemakkelijker om verschillende typen experts te betrekken dan in de andere. Ook dat is maatwerk : het afwegen van verschillende belangen. Het overbrengen van de verschillende visies op onderzoek zien we als ‘work in progress’. Heel inspirerend maar niet ‘af’. We gaan er graag mee door omdat we zien welke consequenties de heersende visie heeft in de dagelijkse praktijk. Dat maakt het voor ons en onze opdrachtgevers steeds weer belangrijk om over door te praten.

 

Manja Bomhoff
Yvonne van der Vlugt

 

**Mogen wij u vaker met dit soort inzichten inspireren? Ontvang een paar keer per jaar onze Inzichtenmail.**