Nieuws

Lees hieronder het volledige antwoord van Hivos:

Geachte heer Driessen,

Bij dezen beantwoord ik uw vragen over de evaluaties waar Hivos bij betrokken is. Voordat ik specifiek op uw vragen inga, is het misschien goed erop te wijzen dat  Hivos al sinds jaar en dag over deze en soortgelijke zaken tekst en  uitleg geeft in haar jaarverslag, dat behalve in druk ook via onze  website te verkrijgen is. Sinds het ministerie van Buitenlandse Zaken om een specifiek jaarverslag over de MFS subsidie vraagt, is het overzicht met uitgevoerde projectevaluaties in dat verslag opgenomen.

Op onze website treft u tevens de onderzoeksrapporten aan van de zogeheten programma-evaluaties (voor een toelichting op het begrip programma-evaluaties, zie verderop).

Kort samengevat luidt het evaluatiebeleid van Hivos als volgt. Hivos kent een tweetal typen evaluaties: project- en programma-evaluaties. De projectevaluaties  richten zich op individuele partner organisaties in ontwikkelingslanden  en de resultaten die zij bereiken. Conclusies zijn in beginsel alleen  van toepassing op die specifieke organisatie en de activiteiten daarvan.  Hivos streeft ernaar jaarlijks tenminste 5% van de door ons gesteunde  organisaties op deze wijze te evalueren. In 2010 werden 28  projectevaluaties uitgevoerd.. De programma-evaluaties richten zich op  een beleidsthema. In deze evaluaties worden meerdere partner  organisaties betrokken. De conclusies zijn een indicator voor de  effectiviteit van het beleid van Hivos. De kwaliteit van deze evaluaties  werd in de periode 2003-2010 door het IOB beoordeeld. De  onafhankelijkheid van het onderzoek was daarbij een belangrijk criterium  (en voor Hivos steeds als voldoende beoordeeld).

Vanaf 2011 zijn deze  evaluaties op een andere leest geschoeid (en wordt ook het begrip  “programma-evaluatie” niet meer gehanteerd). De organisatie van en  toezicht op de kwaliteit van de uitvoering is volledig uitbesteed aan  WOTRO. Hivos doet dit samen met de overgrote meerderheid van de  organisaties die vanuit het MFS subsidie ontvangen. Hivos heeft geen  enkele zeggenschap over wie de evaluaties uitvoeren, noch over welke  projecten geselecteerd worden voor de evaluaties.

Reactie op uw vragen

1. Wie verricht voor Hivos dergelijke evaluaties? Wilt u mij een overzicht doen toekomen?
Project-evaluaties  worden door een team van doorgaans twee onderzoekers uitgevoerd. Het  zijn in beginsel lokale onderzoekers (dus afkomstig uit het land of de  regio waar de activiteiten uitgevoerd zijn). De  programma-evaluaties werden uitgevoerd door teams van Europese en  zuidelijke onderzoekers. Wie de evaluaties gaan uitvoeren in de periode  2012-2015 is nog niet bekend. Een overzicht van de onderzoekers die in 2010 evaluaties hebben uitgevoerd is bijgevoegd.

2. Hoe verloopt de  selectieprocedure voor een ‘evaluator’? Met andere woorden: wie beslist –  en waarom – een bepaalde ‘evaluator’ wordt verkozen voor een bepaald  project?
Het is goed te  beseffen dat hij hierbij gaat om het evalueren van activiteiten van  lokale organisaties in ontwikkelingslanden die door Hivos worden  gefinancierd. De evaluaties zijn een instrument voor Hivos om beter  zicht te krijgen op het werk van deze partnerorganisaties. Hivos is dus  opdrachtgever en draagt de verantwoordelijkheid voor de vraagstelling en  selectie. Onderzoekers moeten  voldoen aan een aantal kwaliteitseisen. Binnen een team moet een  voldoende mix aanwezig zijn van bewezen kennis van onderzoekstechnieken  en kennis van het werkterrein van de te evalueren organisatie. Kennis  van de taal is uiteraard een belangrijke eis. Eventuele eerdere  opdrachten moeten naar tevredenheid zijn afgerond, dat wil zeggen:  binnen de afgesproken tijd en budget, waarbij conclusies ondubbelzinnig  herleidbaar moeten zijn tot bevindingen en de onderzoekers duidelijk  verantwoorden hoe zij hun onderzoek verricht hebben en welke bronnen  daarbij geraadpleegd zijn. Evaluaties zijn niet bedoeld als  zelfbevestiging, maar als kritische reflectie op de effectiviteit van  een organisatie en zijn activiteiten. Onderzoekers wier enige of  belangrijkste aanbeveling is “Hivos must continue its good work” of een  variatie daarop worden niet uitgenodigd voor een vervolgonderzoek. De opdracht voor de evaluatie wordt door Hivos verstrekt en dus neemt Hivos de beslissing. Voor de  selectieprocedure van WOTRO verwijs ik u graag naar WOTRO. In principe  wordt hier dezelfde procedure gevolgd als bij ander wetenschappelijk  onderzoek.

3. Wat kosten de  evaluaties? Heeft uw organisatie een plafond vastgelegd voor wat de  kosten van een evaluatie mogen bedragen? Kunt u mij een overzicht  verstrekken?
In zijn algemeenheid  is deze vraag moeilijk te beantwoorden, omdat de kosten sterk  verschillen per regio en type evaluatie. Evaluaties in India of  Indonesië zijn duidelijk goedkoper dan die in Midden-Amerika. Gemiddeld  kost een projectevaluatie € 20.000. Programma-evaluaties zijn duurder  dan projectevaluaties. In 2010 besteedde Hivos € 665.000 aan evaluaties.  In de periode 2012-2015 zal Hivos maximaal 0,8% van de MFS subsidie  besteden aan de evaluaties die door WOTRO georganiseerd worden.

4. Wie betaalt de evaluaties?
Hivos. De fondsen worden hiervoor ter beschikking gesteld door de donoren.

5. Zou u de evaluaties  als onafhankelijk en onpartijdig durven kenschetsen? Zo ja, hoe  garandeert u onafhankelijkheid en onpartijdigheid?
Ja. Voor de evaluaties  zoals die in de komende jaren door WOTRO georganiseerd zullen worden  geldt dat de selectie van de te evalueren projecten, de formulering van  de onderzoeksopdracht en de selectie van de onderzoekers zich volledig  buiten Hivos’ bereik voltrekt. Toezicht op de kwaliteit van de  onderzoekers en het onderzoek is in handen gelegd van een gerenommeerd  instituut, dat gehouden is aan strenge regels en procedures op dit vlak.

Voor de  projectevaluaties kan ik de vraag ook bevestigend beantwoorden.  Onderzoek wordt altijd uitgevoerd door onderzoekers die niet aan Hivos  verbonden zijn. De opdracht stuurt aan op een transparant en  controleerbaar feitenverslag, met beargumenteerde conclusies. De  geëvalueerde partner organisatie heeft geen zeggenschap over eventuele goedkeuring van het rapport of acceptatie van de conclusies. Dat is aan  Hivos – en Hivos is in deze gevallen primair geïnteresseerd in het  professionele oordeel van een derde, niet in de instemming of afkeuring  van de geëvalueerde. Verder is het belangrijkste kapitaal van  onderzoekers hun reputatie als gedegen onderzoeker, het zou onverstandig  zijn als ze dat ter wille van een vervolgopdracht voor Hivos in de  waagschaal zouden stellen.

Het IOB heeft in de  periode 2003-2010 de kwaliteit van programma-evaluaties beoordeeld (zie  ook inleiding). Een belangrijk element in die beoordeling was de mate  van onafhankelijkheid. Ook in de nieuwe opzet (met WOTRO) is  onafhankelijkheid voor het IOB van doorslaggevend belang geweest om zijn  goedkeuring aan het initiatief te kunnen geven.

6. Zou ik de evaluaties mogen inzien?
De rapporten van onze  programma-evaluaties zijn vrijelijk beschikbaar (zie ook inleiding en  antwoord op vraag 1) en zijn dat ook altijd al geweest. De  onderzoeksrapporten die onder auspiciën van het WOTRO zullen worden  uitgevoerd zullen eveneens vrijelijk beschikbaar zijn. Ook de rapporten van  projectevaluaties zijn in te zien, maar formeel pas na instemming van de  geëvalueerde organisatie. Mocht u dat echter willen, dan bent u welkom  om de rapporten bij ons te komen inzien.

7. Kan naar uw mening  de wijze waarop evaluaties van hulpprojecten thans plaatsvinden  gekwalificeerd worden als de ‘monitoring and evaluation industry’?
Nee – maar mogelijk  verschillen wij daarover van mening. We nodigen u daarom graag uit om  eens langs te komen en u te vergewissen van hoe evaluaties georganiseerd worden en wat voor invloed ze hebben. Het directe gesprek levert ten  slotte vaak meer informatie op dan papier.

Ten slotte. In uw  brief zegt u dat een vleugje glasnost geen kwaad kan. Omdat ik eigenlijk  zonder meer aanneem dat u zich van te voren goed op de hoogte heeft  gesteld van de informatie die wij al over dit onderwerp verstrekken (op  onze website, in onze jaarverslagen) denk ik dat dit meer een algemene  oproep tot openheid en transparantie betreft. U treft in mij daarin een  fervent medestander -  al veertig jaar lang. Hivos steunt ook nu in veel  landen organisaties die zich inzetten voor transparency & accountability en daar actief burgers betrekken bij het ter verantwoording roepen van  hun overheden. Zo worden kiezers met moderne middelen in staat gesteld  om verkiezingsfraude aan het licht te brengen, om lakse parlementariërs  tot de orde te roepen, om ondoorzichtige financieringsstromen te  ontrafelen. Een goed geïnformeerde en weerbare kiezer kan zo steeds meer  voor elkaar krijgen. Aardige voorbeelden daarvan zijn de Association  for Democratic Reform, een Indiase organisatie die o.a. de financiële  handel en wandel van politici onderzoekt en aan de kaak stelt;  Roozonline dat over Iran bericht en een platform biedt aan een ieder die  op zoek is naar eerlijke, niet door de Iraanse overhe id gemanipuleerde  informatie; Ushahidi in Oost-Afrika dat burgers in staat stelt om  manipulaties en geweld en intimidatie voor en tijdens verkiezingen  meteen te rapporteren, enz. Het zijn de inspanningen van al deze  organisaties en betrokken burgers die ervoor zorgen dat belastinggeld  ook daadwerkelijk besteed wordt waar het voor bedoeld was. Ongetwijfeld  een doel waar u zich in kunt vinden.

Met vriendelijke groet,
M.M. Monteiro
Algemeen Directeur