2006 De heilige graal van effectiviteit

Op zoek naar de heilige graal van de effectiviteit?

Minister van Ardenne doet de Nederlandse ontwikkelingssamenwerking, en daarmee zichzelf, tekort als ze, volgens deze krant, stelt dat er weinig te zeggen is over de effectiviteit van de inspanningen. Haar opmerking is bovendien nogal merkwaardig in het licht van de eisen die ze stelt aan verantwoording en resultaatgerichtheid van organisaties zoals Cordaid. Nadere lezing van de brief aan de Kamer waar het allemaal om begonnen is, stelt ons wat gerust: volgens van Ardenne is er wel degelijk iets te zeggen over effectiviteit, maar de methodologische hobbels zijn nog groot.

De brief aan de Kamer eindigt optimistisch met de aankondiging van (wéér) nieuwe methoden voor effectmeting. Met andere woorden:  de heilige graal van de effectiviteit bestaat wel degelijk, we hebben hem alleen nog niet gevonden.

De discussie over effectiviteit van ontwikkelingssamenwerking bewijst de stelling dat het betere de vijand van het goede is. Het is onjuist te veronderstellen dat we niets kunnen zeggen over de betekenis van onze inspanningen. Dat zou ook betekenen dat wij en onze collega’s in het Zuiden niet leren van ervaringen. Dat is niet alleen onverantwoord en onverteerbaar in het licht van de problemen, maar het is (gelukkig) ook onwaar.

De één-op-één koppeling van investeringen en resultaten in ontwikkelingssamenwerking is problematisch. Die benadering van resultaten is haalbaar bij de beoordeling van ‘hardware’-projecten: een school, een ziekenhuis, een waterput. Maar wie de ambitie heeft om de kwaliteit van de rechtsspraak in Liberia te verbeteren, raakt al snel in de problemen. Dat geldt ook voor programma’s die de kwaliteit en toegankelijkheid van de basisgezondheidszorg in Uganda beogen te verbeteren. Het gaat dan om ‘software’ en ‘humanware’,  om complexe processen en menselijke capaciteiten. En het is precies op dat terrein waar de effectiviteit van ontwikkelingssamenwerking noodzakelijk is en bewezen wordt. Zo heeft het bouwen van scholen weinig effect als de kwaliteit van leerkrachten onder de maat is en dus investeren we in opleidingen voor onderwijzers.

Ons instrumentarium van effectiviteitsmeting moet daar dus ook op afgestemd zijn. De één-op-één verbinding van investering en rendement die ontleend is aan hardware-denken zal onze vraag naar effectiviteit niet oplossen.

Hoe is die vraag wel te beantwoorden?
Op basis van onze Cordaid-ervaring zijn er tenminste drie invalshoeken die aan een antwoord bijdragen.

De eerste invalshoek is die van de ketenbenadering. Ontwikkelingssamenwerking is geen directe interventie vanuit Nederland in het leven van krottenwijkbewoners of katoenboeren in Afrika. Er zijn altijd tussenschakels tussen Cordaid en de mensen wiens lot we blijvend willen verbeteren. Elke schakel heeft natuurlijk een toegevoegde waarde bij het bereiken van blijvende verbeteringen voor hen.

Resultaten worden altijd behaald door inspanningen van meerdere partijen. Het heeft geen zin te zoeken naar de directe lijn tussen ons geld (dat meestal ook nog gemengd is met geld van andere donoren) en de resultaten op doelgroepniveau. Voor de duidelijkheid: het gaat natuurlijk wel om die resultaten, maar ze zijn niet lineair, één-op-één te verbinden met onze inspanning hier.

De druk om wel op deze manier naar resultaten te kijken, bedreigt zelfs de effectiviteit van ontwikkelingssamenwerking. Het leidt er toe dat donorcoördinatie afneemt, dat de behoefte aan het planten van vlaggetjes op eigen projecten toeneemt. De toenemende klachten over gebrek aan afstemming zijn deels terug te voeren op deze neiging tot rechtstreekse interventie vanuit hoofdkantoren met het doel meer zekerheid te krijgen over effectiviteit.

De beoordeling van effectiviteit moet en kan vanuit deze ketenbenadering plaatsvinden. Elke schakel moet aantoonbaar waarde toevoegen, de gehele keten staat voor het uiteindelijke resultaat.

De tweede invalshoek is gebaseerd op de ervaring van Cordaid en haar collega-medefinancieringsorganisaties met programma-evaluaties. Daarin worden, door onafhankelijke onderzoekers, programma’s van meerdere organisaties in meerdere landen over een langere tijd onder de loep genomen. Door het smalle blikveld van één programma in één land los te laten, ontstaat er een beeld van de effectiviteit van de gezamenlijke inspanningen. Dat geeft inzicht in resultaten, maakt goede praktijken zichtbaar en levert bouwstenen voor nieuwe, betere benaderingen.

Ten derde: óf projecten iets opleveren voor de doelgroep, wordt vooral bepaald door de kwaliteit van de organisatie die het project uitvoert. Dat is geen nieuw inzicht en ook geen inzicht dat exclusief voor ontwikkelingssamenwerking geldt. Waarom presteert in Nederland de ene middelbare school beter dan de andere? Waarom voert het ene verpleeghuis pyamadagen in, terwijl een ander de bewoners drie keer per week een bad kan geven? Dat heeft niet te maken met de kwaliteit van schoolboeken of de regelgeving in de AWBZ. Die is overal gelijk. Het gaat in bijna alle gevallen over de kwaliteit van organisaties en hun visie, gedrevenheid, creativiteit. Dat is in ontwikkelingssamenwerking niet anders. Wie een oordeel kan vellen over de kwaliteit van uitvoerende organisaties heeft daarmee de sleutel in handen voor de effectiviteit van programma’s. Cordaid kan aan de hand van kwaliteitsbeoordelingssystemen veel zeggen over de kwaliteit van de organisaties waar we in het Zuiden mee samenwerken.

Deze invalshoeken geven ons wel degelijk materiaal in handen om zinvolle uitspraken te doen over effectiviteit van ontwkkelingsprogramma’s. Investeringen van ministerie en maatschappelijke organisaties bij het verder ontwikkelen van bestaande instrumenten heeft meer zin dan het najagen van cijfermatige, eendimensionele effectiviteitsverantwoording die dilemma’s én mogelijkheden onzichtbaar laat. Er is geen heilige graal, er is wel de verantwoordelijkheid om met inzet van alle macht en middelen de armoede in de wereld te bestrijden.