Van ervaring naar impact

Van ervaring naar impact

Lastige vragen over impact

Noem ons megalomaan of naïef, maar Yvonne en ik willen allebei graag dat ons werk er toe doet. Hoewel we heel verschillend zijn, vinden we elkaar volledig in dat we het belangrijk vinden dat ons werk nut heeft. Dat klinkt misschien overdreven. Maar het zit hem vaak juist in kleine dingen. Zo blikken we samen terug op onze ervaringen: Hebben we misschien een perspectief kunnen toevoegen dat anders over over het hoofd was gezien? Konden we gebruik maken van onze onafhankelijke positie en een nieuw inzicht aandragen? Impact- onze eigen definitie daarvan- is één van onze belangrijkste maatstaven die we gebruiken om te kijken of het nog goed gaat.

Maar nadenken over impact of effecten is helemaal nog niet zo makkelijk. Niet alleen voelt het soms wel erg megalomaan (“Alsof de hele wereld om jou draait!”) of juist naïef (“Er zijn meer factoren van invloed, hoor”). Soms is het lastig om de tijd of de ruimte te nemen om hierover na te denken, een volgende inspectie of onderzoek ligt immers al te wachten. Bovendien is het denken over deze onderwerpen zo sterk beïnvloedt door een specifiek ‘meten is weten’ denken dat het vaak al stopt voor het goed en wel begonnen is.

Dat maakt het nadenken over dit soort vragen voor veel mensen lastig. Zeker in sectoren met een sterke verantwoordingscultuur (zie het RVS rapport over dit onderwerp). De inspecteurs die wij spreken in het kader van Inspecteurs over hun vak zijn ook in dit denken getraind. Het maakt dat ze niet gewend zijn om vragen over impact en effecten van hun eigen optreden te beantwoorden.Want mag je dit soort vragen eigenlijk wel beantwoorden zonder de onderbouwing van een onafhankelijk uitgevoerd effectenonderzoek?

Wanneer is jouw werk nuttig? Wat zijn momenten waarop jouw werk er toe doet, je positieve verandering tot stand brengt? Wanneer ben jij van waarde voor de publieke zaak?

Beter worden door vragen te stellen

Maar dit soort vragen staan aan de basis van verbetering. Professionalisering gaat hand in hand met een intrinsieke wens tot kwaliteitsverbetering. Daar is continue reflectie over de (mogelijke) invloed van het eigen individuele en collectieve handelen voor nodig. Om te kunnen verbeteren moet je immers nadenken over wat eerder wel of niet heeft gewerkt en vooral waarom. Je kunt dat niet beperken tot die paar onderwerpen waar een volledige studie naar is verricht. Dan mis je veel te veel.

De afgelopen jaren is bij de rijksinspecties veel nadruk komen te liggen op het in kaart brengen van effecten van toezicht. Bij het verzamelen van al die ‘evidence’  worden bepaalde ‘regels’ gehanteerd. Die maken dat sommige invloeden eerder zichtbaar worden (gemaakt) dan anderen. Zo wordt er…

  • bij voorkeur gekeken naar causale relaties, dat geeft immers het sterkste bewijs voor effecten.
  • graag gegeneraliseerd en gesimplificeerd zodat de opgedane kennis in potentie op veel toekomstige gevallen van toepassing kan zijn.
  • gezocht naar objectieve informatie.
  • gekwantificeerd gemeten en gebruik gemaakt van grote aantallen.
  • met controlegroepen gewerkt.
  • gekeken naar grotere verbanden, grotere processen en grotere relaties.
  • (inspecteur) overstijgend gekeken, dus ofwel op inspectieniveau ofwel op geaggregeerd inspectieniveau.

Door al deze mechanismen, waar natuurlijk nog veel meer over te zeggen valt, krijgt het alledaagse, het contextspecifieke, het kleine, het complexe en het subtiele veel minder aandacht. Terwijl dat juist is waar de individuele inspecteur (of het team) mee te maken heeft.

Hoe te kijken naar je eigen impact?

Tegelijkertijd wordt van responsieve inspecteurs nu juist verwacht dat zij de context en de individuele omstandigheden slim in ogenschouw nemen en lerend en reflectief werken. De ontwikkeling van de daarvoor benodigde vaardigheden van inspecteurs vergt een ander evaluatief kader dan wat de hierboven beschreven effectmetingen bieden. Een belangrijk doel is om de achterliggende waarden en aannames over dit deel van het inspectiewerk te expliciteren. Wanneer individuele en contextspecifieke ervaringskennis namelijk impliciet blijft en niet wordt geanalyseerd, wordt ze vaak ‘gedegradeerd’ tot intuïtie en blijft ze lastig toetsbaar en overdraagbaar.

Met andere woorden: zouden de eigen ervaringen niet vaker de basis moeten vormen voor onderzoek (in de breedste zin van het woord) naar effecten en impact?

In sessies met inspecteurs draaien we het daarom om. We beginnen met te vragen naar momenten waarop zij het gevoel hadden het verschil te maken. Hoe klein of hoe groot of hoe subjectief ook. Die ervaring is het startpunt. Vervolgens kijken we naar hoe we die ervaring kunnen bevragen, objectiveren, toetsen en wie of wat we daarvoor nodig hebben. Als de ervaring vervolgens echt een positieve invloed lijkt te hebben gehad komt de volgende stap: kijken of het verder uit te bouwen is zodat meer mensen, inspecteurs, casus er profijt kunnen hebben.