Étude de l`évaluabilité des interventions (co)financées par la

Transcription

ROYAUME DE BELGIQUE
Service public fédéral
Affaires étrangères,
Commerce extérieur et
Coopération au Développement
Evaluer de manière crédible et utile : entre rêve et réalité
Evaluer de manière
crédible et utile :
entre rêve et réalité
Une étude de l’évaluabilité d’interventions
(co) financées par la coopération belge
ROYAUME DE BELGIQUE
Affaires étrangères
Service de l’Evaluation spéciale de la Coopération belge au développement
Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]
Dépôt légal n° 0218/2016/013
Service de l’Evaluation
spéciale de la Coopération
belge au Développement
SPF Affaires étrangères, Commerce extérieur et Coopération au
Développement
Service de l’Evaluation spéciale de la Coopération belge au Développement
Etude de l’évaluabilité des
interventions (co)financées par la
Coopération belge
Nathalie HOLVOET - Liesbeth INBERG - Bob PEETERS - Lisa POPELIER -Dirk
VAN ESBROECK -Ellen VERHOFSTADT
Rapport final : annexes
Février 2016
La présente étude a été réalisée par un partenariat composé de South Research et
de l'IOB (Université d'Anvers), ceci avec le soutien d'un comité d'accompagnement.
Les opinions exprimées dans ce document reflètent les points de vue des auteurs et
pas nécessairement ceux du SPF Affaires étrangères, Commerce extérieur et
Coopération au Développement.
© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement
Février 2016
Production graphique : Sandra Fernandez Bernardo, Service Communication SPF
Impression : Imprimerie SPF
Réf. n° S4/2014/03
Dépôt légal : 0218/2016/013
Ce document est également disponible en néerlandais et peut aussi être obtenu
auprès du Service de l'Évaluation spéciale ou sur le site web
http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/nos_metho
des_de_travail/service_evaluation_speciale
Le présent rapport doit être cité comme suit :
Service de l'Évaluation spéciale / SES (2016), Evaluer de manière crédible et utile :
entre rêve et réalité, Une étude de l’évaluabilité d’interventions (co)financées par la
Coopération belge, SPF Affaires étrangères, Commerce extérieur et Coopération au
développement, Bruxelles.
Aperçu des annexes
Annexe 1: Cahier spécial des charges................................................................. 4
Bijlage 2: Beschrijving van de aanpak en onderzoeksmethodologie ................. 42
Annexe 3: Cadre d’étude .................................................................................. 52
Annexe 4: Liste des 40 interventions ............................................................... 56
Annexe 5: Liste des documents consultés les plus importants ......................... 58
Annexe 6: Liste des personnes contactées les plus importantes ...................... 59
Bijlage 7: Toelichtingen bij de statistische analyses en analyse van de sterkste en
zwakste items .................................................................................................. 65
Bijlage 8: Overzicht Gemiddelde Scores en Evalueerbaarheidsindex ................ 92
Etude évaluabilité: Rapport final: annexes
3
Annexe 1: Cahier spécial des charges
4
Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au
Développement
Service de l’Evaluation spéciale de la Coopération belge au Développement
Rue des Petits Carmes 15, 1000 Bruxelles, Belgique
Procédure ouverte pour l’étude de l’évaluabilité
pratique des interventions (co)financées par la
Coopération belge au Développement
Octobre 2014
CAHIER SPECIAL DES CHARGES
Réf. S4/2014/01
5
Table des matières
Table des matières ............................................................................................. 6
A. Dispositions générales ................................................................................... 8
A1. Objet et nature du marché ............................................................................ 8
A2. Durée du contrat ......................................................................................... 8
A3. Pouvoir adjudicateur .................................................................................... 8
A4. Informations complémentaires ...................................................................... 8
A5. Droit d’introduction et ouverture des offres ..................................................... 9
A5.1. Droit et mode d’introduction des offres ..................................................... 9
A5.2. Ouverture des offres ............................................................................. 10
A6. Service dirigeant – fonctionnaire dirigeant ..................................................... 11
A7. Description des services à prester ................................................................. 11
A8. Documents régissant le marché .................................................................... 11
A8.1. Législation ........................................................................................... 11
A8.2. Documents régissant le marché .............................................................. 11
A9. Offres ........................................................................................................ 12
A9.1. Données à mentionner dans l’offre. ......................................................... 12
A9.2. Durée de validité de l’offre. .................................................................... 12
A9.3. Documents et attestations à joindre à l’offre ............................................ 13
A10. Prix ......................................................................................................... 13
10.1. Prix. .................................................................................................... 13
A10.2. Révision de prix ................................................................................. 14
A11. Responsabilité du soumissionnaire .............................................................. 14
A12. Critères de sélection – Régularité des offres – Critères d’attribution................. 14
A12.1. Critères de sélection ............................................................................ 14
A12.2. Régularité des offres ........................................................................... 18
A12.3. Critères d’attribution ........................................................................... 18
A13. Cautionnement ......................................................................................... 19
A14. Suivi et réception des services .................................................................... 20
A15. Exécution des services ............................................................................... 21
A15.1. Délais et clauses. ................................................................................ 21
A15.2. Lieu où les services doivent être exécutés et formalités ........................... 22
A16. Facturation et paiement des services ........................................................... 22
A17. Avis de marché et rectificatifs ..................................................................... 23
A18. Engagements particuliers pour le prestataire de services................................ 23
A19. Litiges ..................................................................................................... 24
B. Prescriptions techniques ............................................................................. 25
B1. Introduction ............................................................................................... 25
B1.1. Définitions ........................................................................................... 25
B1.2. Contexte et raison d’être de l’étude......................................................... 25
B1.3. cadre légal et réglementaire ................................................................... 27
B2. Objet de l’étude .......................................................................................... 27
B3. Objectifs de l’étude ..................................................................................... 27
B4. Champ de l’étude ........................................................................................ 28
B4.1. Champ conceptuel ................................................................................ 28
B4.2. Modalités à examiner ............................................................................ 28
B4.3. Acteurs à examiner ............................................................................... 29
B4.4. Champ temporel ................................................................................... 29
B4.5 Champ géographique ............................................................................. 30
B5. Approche et méthode .................................................................................. 30
6
B5.1. Approche générale ............................................................................... 30
B5.2. Echantillonnage des études de cas ......................................................... 30
B6. Phases de l’étude ....................................................................................... 31
B6.1. Phase 1 : Cadre d’analyse de l’évaluabilité théorique ................................ 31
B6.2. Phase 2 : Phase d’étude de l’évaluabilité théorique ................................... 31
B6.3. Phase 3 : phase d’étude de l’évaluabilité pratique .................................... 32
B6.4. Phase 4 : analyse et synthèse ................................................................ 32
B7 Responsabilité pour la gestion et le suivi de l’étude ......................................... 33
B7.1. Le fonctionnaire dirigeant (FD)............................................................... 33
B7.2. Les parties prenantes (ou acteurs concernés) .......................................... 33
B7.3. Comité d’accompagnement.................................................................... 34
B8. Equipe de l’étude ....................................................................................... 34
B9. Chronogramme indicatif .............................................................................. 35
B10. Les rapports............................................................................................. 35
B10.1. Nature des rapports ........................................................................... 35
B10.2 Structure du rapport final : ................................................................... 35
B10.3. Qualité : ............................................................................................ 36
B10.4. Ponctualité : ...................................................................................... 36
B10.5. Langue des rapports : ......................................................................... 36
B11. Bibliographie ............................................................................................ 37
C. Annexes ....................................................................................................... 38
C1. Fiche de renseignements ............................................................................. 38
C1.1. Offre technique .................................................................................... 38
C1.2. Offre financière .................................................................................... 40
C2. Formulaires de soumission .......................................................................... 40
7
A. Dispositions générales
A1. Objet et nature du marché
Le présent marché porte sur les phases 3 et 4 de l’étude de l’évaluabilité des interventions
(co)financées par la Coopération belge au Développement, selon les prescriptions
techniques/termes de référence de la partie B
Les phases 1 et 2 portent sur l’étude de l’évaluabilité théorique et ont déjà été
réalisées en interne.
La procédure choisie est celle de l’appel d’offres général.
Ce marché comporte un seul lot.
Il s’agit d’un marché à prix global (A.R. 15 juillet 2011, art. 2, 4°).
A2. Durée du contrat
Le marché prend cours le premier jour calendrier qui suit le jour où l’adjudicataire a reçu la
notification de la conclusion du marché et est conclu pour une période de 6 mois. Il n’est pas
prévu de prolongation de la durée de validité du marché. L’exécution des services prévus au
présent cahier spécial des charges doit, dans tous les cas, être terminée dans le délai prévu,
conformément au point 15.1.
A3. Pouvoir adjudicateur
Le pouvoir adjudicateur est l’Etat belge, représenté par le Service de l’Evaluation spéciale de
la Coopération belge au développement (SES-S4), Service public fédéral Affaires étrangères,
Commerce extérieur et Coopération au Développement, rue des Petits Carmes 15 , B-1000
Bruxelles, Belgique.
A4. Informations complémentaires
Des informations complémentaires relatives à la procédure et au contenu du marché peuvent
être obtenues auprès de :
-
M. Ivo Hooghe, (NL, FR, AN), ℡: int + 32 (0)2 501 3701, [email protected]
-
M. Karel Cools, (FR, NL, AN), ℡: int + 32 (0)2 501 4590, [email protected]
Le pouvoir adjudicateur a décidé de ne pas organiser une session d’information à l’intention
des soumissionnaires potentiels. Toutefois, les soumissionnaires potentiels peuvent faire
parvenir leurs questions au pouvoir adjudicateur par e-mail aux personnes mentionnées cidessus.
Le pouvoir adjudicateur mettra en ligne sur e-notification, toutes les questions reçues ainsi
que la réponse à ces questions.
8
A5. Droit d’introduction et ouverture des offres
A5.1. Droit et mode d’introduction des offres
Sans préjudice des variantes éventuelles, chacun des soumissionnaires ne peut remettre
qu'une offre par marché.
En application de l’article 52, § 2, de l’AR du 15 juillet 2011, le pouvoir adjudicateur accepte
l’utilisation de moyens électroniques pour l’introduction des offres.
Par conséquent, les offres peuvent être introduites comme suit:
-
ou bien
électroniquement via l’application e-tendering (voir ci-dessous pour plus
d’informations),
-
ou bien par lettre (une lettre recommandée est conseillée) envoyée au pouvoir
adjudicateur,
-
ou bien personnellement déposées auprès du pouvoir adjudicateur.
A5.1.1. Offres introduites par des moyens électroniques
Lorsque des moyens électroniques sont utilisés pour l’introduction de l’offre, la signature
électronique doit être conforme aux règles du droit européen et du droit national y
correspondant relatives à la signature électronique avancée accompagnée d’un certificat
qualifié et valide, et réalisée au moyen d’un dispositif sécurisé de création de signature (Article
52, § 1, 1° de l’AR du 15 juillet 2011).
Les offres qui sont introduites par des moyens électroniques, peuvent être envoyées via le site
internet e-tendering https://eten.publicprocurement.be/ qui garantit le respect des conditions
de l’article 52 de l’AR du 15 juillet 2011.
Vu que l’envoi d’une offre par e-mail ne correspond pas aux conditions de l’article 52 de l’AR
du 15 juillet 2011, il n’est pas admis d’introduire une offre de cette manière.
Si nécessaire, les attestations demandées comme documents du marché, sont scannées en
PDF, afin de les joindre à l’offre. Certains documents à joindre qui ne peuvent pas être
produits ou qui peuvent être difficilement produits par des moyens électroniques, peuvent être
délivrés sur papier avant la date limite de réception.
En introduisant son offre entièrement ou partiellement via des moyens électroniques, le
soumissionnaire accepte que les données qui résultent du fonctionnement du système de
réception de son offre, soient enregistrées.
Plus d'informations peuvent être obtenues sur le site : http://www.publicprocurement.be ou
via le numéro de téléphone du helpdesk du service e-procurement : +32 (0)2 790 52 00.
A5.1.2. Offres non introduites par des moyens électroniques
Les offres qui sont introduites sur papier et les offres qui sont libellées par des moyens
électroniques mais qui ne sont pas introduites par ces moyens, sont glissées dans une
enveloppe fermée. Sur cette enveloppe, il y a lieu d’indiquer les mentions suivantes:
-
le numéro du cahier spécial des charges: S4/2014/01;
9
-
la date et l’heure de la séance d’ouverture des offres 06/01/2015, à 14:30h.
Cette enveloppe est glissée dans une deuxième enveloppe portant les mentions suivantes:
-
la phrase «offre, à n’ouvrir que pendant la scéance d’ouverture des offres» dans le coin
supérieur gauche;
-
le numéro du cahier spécial des charges: S4/2014/01
-
l’adresse du destinataire comme indiqué ci-dessous.
Les offres sont envoyées via un service postal à ou déposées personnellement auprès de:
-
Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au
Développement;
-
A l’attention du Service Evaluation spéciale SES – S4;
-
Rue des Petits Carmes, 15 ;
-
1000 Bruxelles.
Elles sont déposées en 1 exemplaire original et doivent être rédigées suivant le formulaire
d’offre joint au présent cahier spécial des charges.
Au cas où les offres sont déposées personnellement, le soumissionnaire a le droit de
demander un accusé de réception.
A5.1.3. Modification ou retrait d’une offre déjà introduite
Lorsqu’un soumissionnaire souhaite modifier ou retirer une offre déjà envoyée ou introduite,
ceci doit se dérouler conformément aux dispositions de l’article 91 de l’Arrêté royal du 15
juillet 2011. La modification ou le retrait d’une offre déjà introduite est possible via des
moyens électroniques qui satisfont au prescrit de l’article 52, §1 de l’AR du 15 juillet 2011, ou
sur papier.
Afin de modifier ou de retirer une offre déjà envoyée ou introduite, une déclaration écrite est
exigée, correctement signée par le soumissionnaire ou par son mandataire. L’objet et la
portée des modifications doivent être mentionnés de façon précise. Le retrait doit être
inconditionnel.
Le retrait peut également être communiqué par téléfax, ou via un moyen électronique qui
n’est pas conforme à l’article 52, § 1 de l’AR du 15 juillet 2011, pour autant que :
1° ce retrait parvienne au président de la séance d’ouverture des offres avant qu’il ouvre la
séance ;
2° et qu’il soit confirmé par lettre recommandée déposée à la poste au plus tard le jour avant
la séance d’ouverture.
Remarque: Le pouvoir adjudicateur n’a pas de préférence sur le mode d’introduction des offre.
Ce choix appartient au soumissionnaire et n’aura en aucun façon de l’influence sur l’analyse et
l’évaluation de l’offre.
A5.2. Ouverture des offres
La séance d’ouverture des offres aura lieu au 24A , rue des Petits Carmes, 1000 Bruxelles,
local 213, le 06/01/2015 à 14:30h.
Chaque offre doit parvenir au président de la séance avant qu’il déclare la séance ouverte.
10
Tout envoi au pouvoir adjudicateur, par la poste, par courrier express ou déposé à la
réception des divers bâtiments du SPF, doit, pour des raisons de sécurité, être passé
au détecteur. Cette procédure, ainsi que le transfert de l'envoi jusqu'au président de
la séance d'ouverture des offres peut prendre un temps non négligeable. Cette
procédure n'est évitable que par la remise en mains propres de l'offre aux personnes
de contacts mentionnée au point A3 ci-dessus ou au président de la séance
d'ouverture des offres, juste avant que cette séance ne soit déclarée ouverte.
L'attention des soumissionnaires est attirée sur le fait que seules les offres qui parviennent au
président de la séance avant qu’il déclare la séance ouverte, peuvent être acceptées.
Toutefois, une offre tardive est acceptée pour autant que le pouvoir adjudicateur n’ait pas
encore conclu le marché et que l’offre ait été envoyée sous pli recommandé au plus tard
quatre jours calendrier avant la date de la séance d’ouverture.
A6. Service dirigeant – fonctionnaire dirigeant
Le service dirigeant est le pouvoir adjudicateur. Seul le pouvoir adjudicateur est compétent
pour la surveillance du marché ainsi que pour son contrôle.
Le fonctionnaire dirigeant (qui sera un fonctionnaire du pouvoir adjudicateur) sera désigné
dans la notification de la conclusion du marché1. Les limites de sa compétence y seront
indiquées.
A7. Description des services à prester
Les services à prester sont décrits de façon détaillée dans la partie B "prescriptions
techniques", du présent cahier spécial des charges, et porte sur les phases 3 et 4 décrites
aux points B6.3 et B6.4.
A8. Documents régissant le marché
A8.1. Législation
-
La loi du 15 juin 2006 relative aux marchés publics et à certains marchés de travaux, de
fournitures et de services
-
Loi du 17 juin 2013 relative à la motivation, à l’information et aux voies de recours en
matière de marchés publics et de certains marchés de travaux, de fournitures et de
services
-
L’arrêté royal du 15 juillet 2011 - arrêté royal relatif à la passation des marchés publics
dans les secteurs classiques
-
L’arrêté royal du 14 janvier 2013 - arrêté royal établissant les règles générales d'exécution
des marchés publics et des concessions de travaux publics
-
Toutes les modifications à la loi et aux arrêtés précités, en vigueur au jour de la
publication de l’avis de marché au Bulletin des Adjudications.
A8.2. Documents régissant le marché
-
La lettre de notification du marché.
1
Il a consciemment été choisi de ne pas mentionner l’identité de cette personne dans le cahier spécial des charges, et ce, afin de
donner la liberté au pouvoir adjudicateur de ne désigner cette personne qu’au dernier moment.
11
-
Le formulaire d’offre
-
Le présent cahier spécial des charges n° S4/2014/01.
-
L’offre approuvée de l’adjudicataire.
A9. Offres
A9.1. Données à mentionner dans l’offre.
L’attention des soumissionnaires est attirée sur l’article 8 de la loi du 15 juin 2006 et sur
l’article 64 de l’arrêté royal du 15 juillet 2011 relatif aux incompatibilités.
Il est fortement recommandé au soumissionnaire d’utiliser le formulaire d’offre joint en
annexe. Dans cette optique, l’attention du soumissionnaire est attirée sur l’article 80 de
l’arrêté royal du 15 juillet 2011, qui stipule: “Lorsqu’aux documents du marché est joint un
formulaire destiné à établir l’offre et à compléter le métré récapitulatif ou l’inventaire, le
soumissionnaire en fait usage. A défaut d’utiliser ce formulaire, il supporte l’entière
responsabilité de la parfaite concordance entre les documents qu’il a utilisés et le formulaire.”.
L’offre et les annexes jointes au formulaire d’offre sont rédigées en français ou en néerlandais.
Les offres contenant des sections dans les différentes langues précitées sont également
admises.
Par le dépôt de son offre, le soumissionnaire renonce automatiquement à ses conditions
générales ou particulières de vente, même si celles-ci sont mentionnées dans l’une ou l’autre
annexe à son offre.
Le soumissionnaire indique clairement dans son offre quelle information est confidentielle
et/ou se rapporte à des secrets techniques ou commerciaux et ne peut donc pas être
divulguée par le pouvoir adjudicateur.
Les renseignements suivants seront mentionnés dans l’offre :
-
le prix global en lettres et en chiffres (hors TVA);
-
le montant de la TVA;
-
le montant total de l’offre en lettres et en chiffres (TVA incluse)
-
la signature de la personne ayant mandat pour signer l’offre;
-
la qualité de la personne qui signe l’offre ;
-
la date à laquelle la personne précitée a signé l’offre ;
-
le numéro d’immatriculation complet du soumissionnaire auprès de la Banque Carrefour
des Entreprises (pour les soumissionnaires belges)
-
L’offre technique et financière telle que détaillée
renseignements) du présent cahier des charges
dans
la
partie
C
(fiche
de
A9.2. Durée de validité de l’offre.
Les soumissionnaires restent liés par leur offre pendant un délai de 100 jours calendrier, à
compter du jour qui suit celui de l’ouverture des offres.
12
A9.3. Documents et attestations à joindre à l’offre
Les soumissionnaires joignent à leur offre tous les documents demandés dans le cadre des
critères de sélection et des critères d’attribution (voir rubrique A12 ci-après)
A10. Prix
10.1. Prix.
Tous les prix mentionnés dans le formulaire d’offre doivent être obligatoirement libellés en
EURO.
Le présent marché est un marché à prix global, ce qui signifie que le prix global est forfaitaire.
Le prestataire de services est censé avoir inclus dans son prix global tous les frais possibles
grevant les services, et notamment, mais pas exclusivement,
-
le salaire des consultants (internationaux et locaux) ;
-
les déplacements des consultants pour les réunions à Bruxelles ;
-
les indemnités journalières forfaitaires des consultants (internationaux et locaux) pour les
missions de terrain ;
-
les indemnités couvrant les frais de logement pendant les missions de terrain.
-
les frais de déplacement internationaux pour les missions de terrain ;
-
Les frais de déplacement locaux (vols intérieurs, train, taxis, location de véhicules avec
chauffeur et assurances,….);
-
les frais liés aux entrevues, focus group, contacts avec les bénéficiaires… ;
-
les frais de traduction ;
-
les frais de communication ;
-
les frais de duplication et d’impression, des supports électroniques ;
-
les frais d’organisation des séances de débriefing dans les pays où il y aura des missions
de terrain.
Ne sont expressément pas compris dans le prix :
-
la TVA ;
-
les frais suivants de réunion à Bruxelles : salles de réunion pour les comités
d’accompagnement, petite restauration et traducteurs-interprètes pour le séminaire de
restitution à Bruxelles. Ces frais seront portés par le pouvoir adjudicateur.
-
Les frais de déplacements des représentants du pouvoir adjudicateur vers les pays
désignés pour les missions de terrain.
-
Les frais de déplacements inter villes locaux par train ou avion des représentants du
pouvoir adjudicateur pendant les missions de terrain.
-
Les frais de subsistance journalière (per diem) des représentants du pouvoir adjudicateur
pendant leurs missions;
-
Les frais de logement des représentants du pouvoir adjudicateur pendant leurs missions.
13
A10.2. Révision de prix
Pour le présent marché, aucune révision de prix ne sera appliquée.
A11. Responsabilité du soumissionnaire
Le prestataire de services assume la pleine responsabilité des fautes et manquements
présentés dans les services fournis.
Par ailleurs, le prestataire de services garantit le pouvoir adjudicateur des dommages et
intérêts dont celui-ci est redevable à des tiers du fait du retard dans l’exécution des services
ou de la défaillance du prestataire de services.
A12. Critères de sélection – Régularité des offres – Critères
d’attribution.
A12.1. Critères de sélection
Les soumissionnaires sont évalués sur la base des critères de sélection repris ci-après.
Seules les offres des soumissionnaires qui satisfont aux critères de sélection sont prises en
considération pour participer à la comparaison des offres sur la base des critères d’attribution
repris au point A12.3 du présent cahier spécial des charges, dans la mesure où ces offres sont
régulières sur le plan formel et matériel.
A12.1.1. Critères d’exclusion
Par le dépôt de son offre, le soumissionnaire atteste qu’il ne se trouve pas dans un des cas
d’exclusion figurant ci-dessous. Le pouvoir adjudicateur vérifiera l’exactitude de cette
déclaration sur l’honneur implicite dans le chef du soumissionnaire dont l’offre est la mieux
classée. A cette fin, il demandera au soumissionnaire concerné par les moyens les plus
rapides, et dans le délai qu’il détermine, de fournir les renseignements ou documents
permettant de vérifier sa situation personnelle. Le pouvoir adjudicateur demandera lui-même
les renseignements ou documents qu’il peut obtenir gratuitement par des moyens
électroniques auprès des services qui en sont gestionnaires.
Premier critère d’exclusion
-
§.1. Le soumissionnaire belge qui emploie du personnel assujetti à la loi du 27 juin 1969
révisant l’arrêté-loi du 28 décembre 1944 concernant la sécurité sociale des travailleurs,
doit être en ordre en ce qui concerne ses obligations vis-à-vis de l’Office national de
Sécurité sociale. Il est considéré comme étant en ordre en ce qui concerne les obligations
précitées, s’il apparaît, qu’au plus tard la veille de la date limite de réception des offres, il :
1° a transmis à l’Office national de Sécurité sociale toutes les déclarations requises
jusque et y compris celles relatives à l’avant-dernier trimestre civil écoulé par
rapport à la date limite de réception des offres et
2° n’a pas pour ces déclarations une dette en cotisations supérieure à 3000 EUROS, à
moins qu’il n’ait obtenu pour cette dette des délais de paiement qu’il respecte
strictement. Toutefois, même si la dette en cotisations est supérieure à 3000
EURO, le soumissionnaire sera considéré comme étant en règle, s’il établit, avant la
décision d’attribuer le marché, qu’il possède, à la fin du trimestre civil visé à l’alinéa
2, à l’égard d’un pouvoir adjudicateur au sens de l’article 2, 1°, de la loi du 15 juin
2006 ou d’une entreprise publique au sens de l’article 2, 2°, de la loi du 15 juin
14
2006, une ou des créances certaines, exigibles et libres de tout engagement à
l’égard de tiers pour un montant au moins égal, à 3.000 euros près, à celui pour
lequel il est en retard de paiement de cotisations.
-
§ 2. Le soumissionnaire étranger doit, au plus tard la veille de la date limite de réception
des offres :
1° être en règle avec ses obligations relatives au paiement des cotisations de sécurité
sociale selon les dispositions légales du pays où il est établi.
2° être en ordre avec les dispositions du § 1er, s’il emploie du personnel assujetti à la
loi du 27 juin 1969 révisant l’arrêté-loi du 28 décembre 1944 concernant la
sécurité sociale des travailleurs.
-
§.3. A quelque stade de la procédure que ce soit, le pouvoir adjudicateur peut s’informer,
par tous moyens qu’il juge utiles, de la situation en matière de paiement des cotisations de
sécurité sociale de tout soumissionnaire.
Deuxième critère d’exclusion
Conformément à l’article 20 de la loi du 15 juin 2006 et l’article 61, § 1 de l’arrêté royal du 15
juillet 2011, est exclu de l’accès au marché, à quelque stade que ce soit de la procédure, le
soumissionnaire qui a fait l’objet d’une condamnation prononcée par une décision judiciaire
ayant force de chose jugée dont le pouvoir adjudicateur a connaissance pour:
1° participation à une organisation criminelle telle que définie à l’article 324bis du Code
pénal;
2° corruption, telle que définie à l’article 246 du Code pénal ;
3° fraude au sens de l’article 1er de la convention relative à la protection des intérêts
financiers des communautés européennes, approuvée par la loi du 17 février 2002 ;
4° blanchiment de capitaux tel que défini à l’article 3 de la loi du 11 janvier 1993 relative à la
prévention de l’utilisation du système financier aux fins du blanchiment de capitaux et du
financement du terrorisme.
En vue de l’application du présent paragraphe, le pouvoir adjudicateur a le droit de demander
aux soumissionnaires de fournir les renseignements ou documents nécessaires. Lorsqu’il a des
doutes sur la situation personnelle de ces candidats ou soumissionnaires, il peut s’adresser
aux autorités compétentes belges ou étrangères pour obtenir les informations qu’il estime
nécessaires à ce propos.
Troisième critère d’exclusion
Conformément à l’article 20 de la loi et à l’article 61, § 2, 1° et 2° de l’arrêté royal du 15
juillet 2011 , peut être exclu de l’accès au marché, à quelque stade que ce soit de la
procédure, le soumissionnaire:
1° qui est en état de faillite ou de liquidation, de cessation d’activités de réorganisation
judiciaire ou dans toute situation analogue résultant d’une procédure de même nature
existant dans d’autres réglementations nationales;
2° qui a fait l’aveu de sa faillite ou fait l’objet d’une procédure de liquidation, de
réorganisation judiciaire ou de toute autre procédure de même nature existant dans
d’autres réglementations nationales.
Quatrième critère d‘exclusion.
Sera exclu de la participation au marché public, le soumissionnaire qui a fait l’objet d’une
condamnation prononcée par une décision judiciaire ayant force de chose jugée pour tout délit
affectant sa moralité professionnelle.
15
Cinquième critère d’exclusion.
Le soumissionnaire ne peut pas, en matière professionnelle, avoir commis une faute grave,
constatée par tout moyen dont le pouvoir adjudicateur pourra justifier.
En outre, le soumissionnaire, par la signature de son offre, s’engage à respecter les normes
définies dans les conventions de base de l’Organisation internationale du Travail (OIT) et, en
particulier:
1° L’interdiction du travail forcé (conventions n° 29 concernant le travail forcé ou obligatoire,
1930, et n° 105 sur l’abolition du travail forcé, 1957);
2° Le droit à la liberté syndicale (convention n° 87 sur la liberté syndicale et la protection du
droit syndical, 1948);
3° Le droit d’organisation et de négociation collective (convention n° 98 sur le droit
d’organisation et de négociation collective, 1949);
4° L’interdiction de toute discrimination en matière de travail et de rémunération
(conventions n° 100 sur l’égalité de rémunération, 1951 et n° 111 concernant la
discrimination (emploi et profession), 1958);
5° L’âge minimum fixé pour le travail des enfants (convention n° 138 sur l’âge minimum,
1973), ainsi que l’interdiction des pires formes du travail des enfants (convention n° 182
sur les pires formes du travail des enfants, 1999).
Le non-respect des conventions susmentionnées sera donc considéré comme faute grave en
matière professionnelle au sens de l’article 61, §2, 4° de l’AR du 15 juillet 2006. Les
dispositions qui précèdent s’appliquent sans préjudice des autres dispositions reprises à
l’article 61 de l’arrêté précité.
Sixième critère d’exclusion
Le soumissionnaire doit être en règle avec ses obligations relatives au paiement de ses impôts
et taxes selon la législation belge ou celle du pays dans lequel il est établi, conformément aux
dispositions de l’article 63 de l’AR du 15 juillet 2011.
Septième critère d’exclusion
Sera exclu de la participation au marché public, le soumissionnaire qui s’est rendu gravement
coupable de fausses déclarations en fournissant des renseignements exigibles en application
du présent chapitre ou qui n’a pas fourni ces renseignements.
Huitième critère d’exclusion
Sera exclu de la participation au marché public, le soumissionnaire qui aurait par le
passé gravement failli aux engagements particuliers mentionnés au point A18.
A12.1.2. Critères de sélection relatifs aux moyens financiers du soumissionnaire
Le soumissionnaire joindra à son offre une déclaration relative au chiffre d’affaire total réalisé
pendant les trois derniers exercices, à moins que le chiffre d’affaires total soit mentionné dans
les comptes annuels approuvés qui peuvent être consultés via le guichet électronique (il s’agit
des comptes annuels libellés selon le schéma comptable complet, ou selon le schéma
comptable raccourci dans lesquels la mention facultative du chiffre d’affaires total réalisé, a
été complétée).
16
Le soumissionnaire joindra à son offre une déclaration relative au chiffre d’affaires relatif aux
activités d’étude et d'évaluation en matière de coopération au développement
réalisées pendant les trois derniers exercices.
Le soumissionnaire doit également prouver sa solvabilité financière.
Cette capacité financière sera jugée sur base des comptes annuels approuvés des trois
dernières années déposés auprès de la Banque nationale de Belgique. Les soumissionnaires
qui ont déposé les comptes annuels approuvés auprès de la Banque nationale de Belgique, ne
sont pas tenus de les joindre à leur offre, étant donné que le pouvoir adjudicateur est à même
de les consulter via le guichet électronique de l’autorité fédérale.
Les soumissionnaires qui n’ont pas déposé les comptes annuels approuvés des trois dernières
années comptables auprès de la Banque Nationale de Belgique, sont tenus de les joindre à
leur offre. Cette obligation vaut également pour les comptes annuels approuvés récemment et
qui n’ont pas encore été déposés auprès de la Banque nationale de Belgique, parce que le
délai légal accordé pour le dépôt de ceux-ci n’est pas encore échu. Pour les entreprises
individuelles, il convient de faire rédiger un document reprenant tous les actifs et tous les
passifs par un comptable IEC ou un réviseur d’entreprise. Ce document doit être certifié
conforme par un comptable IEC agréé ou par le réviseur d’entreprise, selon le cas. Le
document doit refléter une situation financière récente (datant de 6 mois au maximum, à
compter de la date d’ouverture des offres). Au cas où l’entreprise n’a pas encore publié de
compte annuel, un bilan intermédiaire certifié conforme par le comptable IEC ou par le
réviseur d’entreprise suffit.
Les entreprises étrangères doivent joindre également à leur offre les comptes annuels
approuvés des trois dernières années ou un document reprenant tous les actifs et tous les
passifs de l’entreprise. Au cas où l’entreprise n’a pas encore publié de compte annuel, un bilan
intermédiaire certifié conforme par le comptable ou par le réviseur d’entreprise ou par la
personne ou l’organisme qui exerce ce type de fonction dans le pays concerné suffit.
A12.1.3. Critères de sélection se rapportant à la compétence technique du
soumissionnaire
Premier critère relatif à la capacité technique du soumissionnaire :
Le soumissionnaire doit disposer ou pouvoir disposer de spécialistes en identification,
formulation, suivi et évaluation d’interventions de coopération, en particulier de personnes qui
seront responsables pour le contrôle de la qualité. Lors de l’appréciation de la compétence
technique, seuls les spécialistes qui constitueront une plus-value dans le cadre du marché qui
fait l’objet du présent cahier spécial des charges, seront pris en compte.
Deuxième critère relatif à la capacité technique du soumissionnaire
Le soumissionnaire joint à son offre un relevé reprenant les noms des consultants qui
appartiennent ou non à l’entreprise et qui seront chargés de l’exécution du marché ou du
contrôle de la qualité.
En ce qui concerne les qualités techniques des consultants, le soumissionnaire
joindra leurs curriculum vitae détaillés (diplôme, qualifications professionnelles et
expérience) ; en outre,
-
Le CV des consultants proposés doit clairement indiquer pour quelles actions financées par
la DGCD, ils ont éventuellement participé à la préparation, à la mise en œuvre ou à une
évaluation antérieure.
-
Le CV des consultants individuels doit démontrer que les compétences linguistiques
cumulées de l'équipe de consultants lui permettent de travailler en néerlandais, en
français, et en anglais.
17
Troisième critère relatif à la capacité technique du soumissionnaire
Le soumissionnaire joindra à son offre une liste établissant, pour chacune des études
pertinentes / évaluations en matière de coopération au développement effectuées au
cours des cinq dernières années ou en cours d'exécution par le soumissionnaire, les
renseignements suivants, selon le canevas suivant:
-
titre du rapport final
-
pays ou région auquel l’étude / l'évaluation se rapporte
-
le type d’étude ou d'évaluation (ex-ante, en cours, finale ou ex-post)
-
l'objet, le secteur ou le thème de l’étude / de l'évaluation
-
la composition de l'équipe de consultants
-
le commanditaire du marché
-
le nombre total de jours consacrés aux activités
-
le nombre total de jours consacrés aux activités de terrain
-
la date de dépôt du rapport final.
Le pouvoir adjudicateur doit pouvoir consulter les rapports mentionnés sur cette liste. A cette
fin la liste mentionnera où les rapports sont publiés et/ou où le pouvoir adjudicateur peut
trouver les documents.
A12.2. Régularité des offres
Les offres des soumissionnaires sélectionnés seront examinées du point de vue de leur
régularité.
Les offres irrégulières seront exclues.
Seules les offres régulières seront prises en considération pour être confrontées aux critères
d’attribution.
A12.3. Critères d’attribution
Pour le choix de l’offre la plus intéressante d’un point de vue économique, les offres
régulières des soumissionnaires sélectionnés seront confrontées à une série de critères
d’attribution.
Ces critères seront pondérés afin d’obtenir un classement final.
A12.3.1. Liste des critères d’attribution
Les critères d’attribution, par ordre décroissant d’importance, sont les suivants :
-
Offre technique : 60 %;
-
Offre financière 40 %;
18
A12.3.2. Cotation finale
Pour l’offre technique, le soumissionnaire devra obtenir 60 % des points afférents à ce critère.
A défaut, l'offre sera écartée.
Les cotations pour les 2 critères d’attribution seront additionnées. Le marché sera attribué au
soumissionnaire qui obtient la cotation finale la plus élevée, après que le pouvoir adjudicateur
aura vérifié, à l’égard de ce soumissionnaire, l’exactitude de la déclaration implicite sur
l’honneur et à condition que le contrôle ait démontré que la déclaration implicite sur l’honneur
correspond à la réalité.
L’évaluation des critères d’attribution se fera comme suit :
1. L’offre technique (60%) sera évaluée sur base de :
-
Approche méthodologique ; essentiellement manière dont les consultants envisage le
questionnement mentionné en B6.3 et le traitement des réponses : 10%.
-
Approche proposée pour l’organisation pratique de l’étude (chronogramme indicatif de la
phase de terrain et de la phase de restitution, répartition de l’expertise (y compris mixité
et connaissance des langues au sein de l’équipe), contrôle de qualité et backup) : 10 %.
-
Qualification et expérience du Team Leader ou de l’équipe dirigeante proposé pour l’étude,
en suivi et évaluation d’interventions de coopération, en gestion d’équipe, en direction de
projet et avec la coopération belge : 15%.
-
Qualification et expérience des autres consultants en suivi et évaluation d’interventions de
coopération : 15%.
-
Qualification et expérience des consultants (y compris du team Leader) dans les pays où
se situent les interventions (RDCongo, Rwanda, Bénin) : 10%.
2. L’offre financière (40%) sera évaluée sur base de :
-
Prix forfaitaire global : 20% : La note (NPX) pour le prix d'une offre X sera calculée de la
manière suivante: NPX=20 x (prix de l'offre la plus basse)/(prix de l'offre X).
-
Prix moyen d’une journée de service : 20% : La note (NPMX) pour le prix moyen d’une
journée de service de l’offre X sera calculée de la manière suivante : NPMX = 20 x (Prix
moyen le plus bas)/(prix moyen de l’offre X).
Le prix moyen sera calculé en divisant le prix forfaitaire global mentionné dans l’offre par le
nombre de jours de service proposés.
A13. Cautionnement
Le cautionnement est fixé à 5 % du montant total, hors TVA, du marché. Le montant ainsi
obtenu est arrondi à la dizaine d’euro supérieure.
Le cautionnement peut être constitué conformément aux dispositions légales et
réglementaires, soit en numéraire, ou en fonds publics, soit sous forme de cautionnement
collectif.
Le cautionnement peut également être constitué par une garantie accordée par un
établissement de crédit satisfaisant au prescrit de la législation relative au statut et au
contrôle des établissements de crédit ou par une entreprise d'assurances satisfaisant au
prescrit de la législation relative au contrôle des entreprises d'assurances et agréée pour la
branche 15 (caution).
19
L’adjudicataire doit, dans les trente jours de calendrier suivant le jour de la conclusion du
marché, justifier la constitution du cautionnement par lui-même ou par un tiers, de l’une des
façons suivantes :
1° lorsqu’il s’agit de numéraire, par le virement du montant au numéro de compte du
Postchèque de la Caisse des Dépôts et Consignations [compte bpost banque n° BE58 6792
0040 9979 (IBAN), PCHQBEBB (BIC)] ou d’un organisme public remplissant une fonction
similaire à celle de ladite Caisse, ci-après dénommé organisme public remplissant une
fonction similaire ;
2° lorsqu’il s’agit de fonds publics, par le dépôt de ceux-ci entre les mains du caissier de l’Etat
au siège de la Banque nationale à Bruxelles ou dans l’une de ses agences en province,
pour compte de la Caisse des Dépôts et Consignations, ou d’un organisme public
remplissant une fonction similaire ;
3° lorsqu’il s’agit d’un cautionnement collectif, par le dépôt par une société exerçant
légalement cette activité, d’un acte de caution solidaire auprès de la Caisse des Dépôts et
Consignations ou d’un organisme public remplissant une fonction similaire;
4° lorsqu’il s’agit d’une garantie, par l’acte d’engagement de l’établissement de crédit ou de
l’entreprise d’assurances.
Cette justification se donne, selon le cas, par la production au pouvoir adjudicateur :
1° soit du récépissé de dépôt de la Caisse des Dépôts et Consignations ou d’un organisme
public remplissant une fonction similaire ;
2° soit d’un avis de débit remis par l’établissement de crédit ou l’entreprise d’assurances;
3° soit de la reconnaissance de dépôt délivrée par le caissier de l’Etat ou par un organisme
public remplissant une fonction similaire ;
4° soit de l’original de l’acte de caution solidaire visé par la Caisse des Dépôts et
Consignations ou par un organisme public remplissant une fonction similaire ;
5° soit de l’original de l’acte d’engagement établi par l’établissement de crédit ou l’entreprise
d’assurances accordant une garantie.
Ces documents, signés par le déposant, indiquent au profit de qui le cautionnement est
constitué, son affectation précise par l’indication sommaire de l’objet du marché et de la
référence des documents du marché, ainsi que le nom, le prénom et l’adresse complète de
l’adjudicataire et éventuellement, du tiers qui a effectué le dépôt pour compte, avec la
mention “bailleur de fonds” ou “mandataire”, suivant le cas.
Le délai de trente jours de calendrier visé ci-avant est suspendu pendant la période de
fermeture de l’entreprise de l’adjudicataire pour les jours de vacances annuelles payées et les
jours de repos compensatoire prévus par voie réglementaire ou dans une convention collective
de travail rendue obligatoire.
La preuve de la constitution du cautionnement doit être envoyée à l’adresse qui sera
mentionnée dans la notification de la conclusion du marché.
Le cautionnement sera libéré en une fois après réception définitive et acceptation de tous les
services exécutés sur base du présent cahier spécial des charges et autres documents
contractuels.
A14. Suivi et réception des services
Les services seront suivis de près pendant leur exécution par un comité d’accompagnement
dont le rôle et la composition est mentionnée au point B7.3 du présent cahier spécial des
20
charges. Il est prévu que le comité d’accompagnement se réunisse au siège du pouvoir
adjudicateur, en présence du prestataire de service. En tant que service dirigeant, le Service
de l’Evaluation spéciale (S4) du SPF Affaires étrangères, Commerce extérieur et Coopération
au Développement sera responsable pour la réception des services.
Un délégué du pouvoir adjudicateur sera désigné au moment où débutera l’exécution des
services pour faciliter les contacts avec le prestataire de services.
Les missions de terrain pourront également être suivies de près pendant leur
exécution par un délégué du pouvoir adjudicateur. L’identité de ce délégué sera
communiquée au prestataire de services en temps utiles. Le prestataire de service
devra assurer le transport local terrestre de ce délégué (une place dans le véhicule
pour le délégué et pour ses bagages), ainsi que les coûts liés à ce transport.
A15. Exécution des services
A15.1. Délais et clauses.
A15.1.1 Délais
Les services doivent être exécutés dans un délai de 6 mois à compter du jour qui suit celui
où le prestataire de services a reçu la notification de la conclusion du marché. Les jours de
fermeture de l’entreprise du prestataire de services pour les vacances annuelles ainsi que les
périodes d’interruption des services2 effectuées à la demande du Service dirigeant ne sont pas
inclus dans le calcul.
La notification du marché est adressée au prestataire de services par envoi recommandé avec
accusé de réception.
Les échanges de correspondance subséquents relatifs à la notification du marché et à
l’exécution des services suivent les mêmes règles que celles prévues pour l’envoi de la
notification du marché chaque fois qu’une partie désire se ménager la preuve de son
intervention.
En cas de libellé manifestement incorrect ou incomplet de la notification du marché
empêchant toute exécution du marché, le prestataire de services en avise immédiatement par
écrit le service commandeur afin qu’une solution soit trouvée pour permettre l’exécution
normale du marché. Si nécessaire, le prestataire de services sollicite une prorogation du délai
de l’exécution des services.
En tout état de cause, les réclamations relatives à la notification du marché ne sont plus
recevables si elles ne sont pas introduites dans les 15 jours calendaires à compter à partir du
premier jour qui suit celui où le prestataire de services a reçu la lettre de notification du
marché.
A15.1.2. Clause d’exécution
Le soumissionnaire s’engage, jusqu’à la complète exécution du marché, à respecter les 8
conventions de base de l’OIT, en particulier :
1. L’interdiction du travail forcé (conventions n° 29 concernant le travail forcé ou obligatoire,
1930, et n° 105 sur l’abolition du travail forcé, 1957) ;
2
Par exemple : la période entre la remise d’un rapport provisoire et la réunion du comité d’accompagnement statuant
sur ledit rapport.
21
2. Le droit à la liberté syndicale (convention n° 87 sur la liberté syndicale et la protection du
droit syndical, 1948) ;
3. Le droit d’organisation et de négociation collective (convention n° 98 sur le droit
d’organisation et de négociation collective, 1949) ;
4. L’interdiction de toute discrimination en matière de travail et de rémunération
(conventions n° 100 sur l’égalité de rémunération, 1951 et n° 111 concernant la
discrimination (emploi et profession), 1958) ;
5. L’âge minimum fixé pour le travail des enfants (convention n° 138 sur l’âge minimum,
1973), ainsi que l’interdiction des pires formes du travail des enfants (convention n° 182
sur les pires formes du travail des enfants, 1999).
En vertu de l’article 44, § 1, 1° de l’arrêté royal du 14 janvier 2013, le non-respect de cet
engagement sera considéré comme une non-exécution du marché suivant les prescriptions
fixées dans les documents du marché, ce qui donnera lieu à la mise en demeure de
l’adjudicataire, et pourra, en vertu de l’article 47, § 2, 1° de l’arrêté royal du 14 janvier 2013,
donner lieu à l’application des mesures d’office, en particulier à la résiliation unilatérale du
marché.
A15.2. Lieu où les services doivent être exécutés et formalités
A15.2.1. Lieu où les services doivent être exécutés
Les services seront exécutés :
-
à l’adresse du prestataire de service,
-
au siège du pouvoir adjudicateur sis à Bruxelles, Belgique,
-
chez les différentes personnes ressources/institutions mentionnées dans les termes de
référence,
-
en RDCongo, au Rwanda et au Bénin.
A15.2.2. Evaluation des services exécutés.
Si pendant l’exécution des services, des anomalies sont constatées, ceci sera immédiatement
notifié à l’adjudicataire par un fax ou par un message e-mail, qui sera confirmé par la suite au
moyen d’ une lettre recommandée. L’adjudicataire est tenu de recommencer les services
exécutés de manière non conforme.
Au moment où les services auront été exécutés, on procédera à l’évaluation de la qualité et de
la conformité des services exécutés. Un procès-verbal de cette évaluation sera établi, dont
l’exemplaire original sera transmis au prestataire de services. Les services qui n’auront pas
été exécutés de manière correcte ou conforme au cahier spécial des charges devront être
recommencés.
A16. Facturation et paiement des services
Le prix global forfaitaire mentionné au point A10.1 (+ TVA) sera payable sur réception de
factures introduites à raison de:
a) 30% du forfait à la fin des missions de terrain au dépôt des rapports des restitutions
locales auprès du pouvoir adjudicateur;
22
b) 30% du forfait à la fin au dépôt du rapport final provisoire auprès du pouvoir adjudicateur;
c) 40% du forfait après approbation des rapports définitifs de l'étude par le pouvoir
adjudicateur et après que tous les services aient été rendus.
Le prestataire de services envoie les factures (en un seul exemplaire), à l’adresse suivante :
SPF Affaires étrangères, Commerce extérieur et Coopération au développement
Direction d’encadrement budget et contrôle de gestion ; service B&B1
15, rue des Petits Carmes
B - 1000 Bruxelles
Les factures doivent obligatoirement porter la mention du service gestionnaire
comme suit : Service gestionnaire : Evaluation spéciale (S4)
Seuls les services qui sont exécutés de manière correcte, et qui ont reçu un avis positif du
comité d’accompagnement, pourront être facturés. Les factures doivent être libellées en
EUROS.
Le pouvoir adjudicateur dispose d'un délai de vérification de trente jours à compter de la date
de la fin des services, constatée conformément aux modalités fixées dans les documents du
marché, pour procéder aux formalités de réception et en notifier le résultat au prestataire de
services.
Le paiement du montant dû au prestataire de services doit intervenir dans le délai de
paiement de trente jours à compter de l'échéance du délai de vérification ou à compter du
lendemain du dernier jour du délai de vérification si ce délai est inférieur à 30 jours.
Lorsque les documents du marché ne prévoient pas une déclaration de créance séparée, la
facture vaut déclaration de créance.
A17. Avis de marché et rectificatifs
Les avis de marché et rectificatifs annoncés ou publiés au Bulletin des Adjudications ou au
Journal officiel de l’Union européenne qui ont trait aux marchés en général, ainsi que les avis
de marché et rectificatifs relatifs à ce marché, font partie intégrante du présent cahier spécial
des charges. Le soumissionnaire est censé en avoir pris connaissance et en avoir tenu compte
lors de l’établissement de son offre.
A18. Engagements particuliers pour le prestataire de
services
Tous les résultats et rapports établis par le prestataire de services lors de l’exécution de ce
marché, sont la propriété du pouvoir adjudicateur et ne peuvent être publiés ou communiqués
à des tiers qu’avec l’autorisation écrite du pouvoir adjudicateur.
Le prestataire de services et ses collaborateurs sont liés par un devoir de réserve concernant
les informations dont ils ont connaissance lors de l’exécution de ce marché. Ces informations
ne peuvent en aucun cas être communiquées à des tiers sans l’autorisation écrite du pouvoir
adjudicateur. Le prestataire de services peut toutefois faire mention de ce marché en tant que
référence.
Le prestataire de services s’engage à faire exécuter le marché par les personnes indiquées
dans l’offre, sauf cas de force majeure. Les personnes mentionnées ou leurs remplaçants
sont tous censés participer effectivement et pour au moins le nombre de jours mentionnés
23
dans l’offre, à la réalisation du marché. Les remplaçants (en cas de force majeure
uniquement) doivent faire l’objet d’une approbation écrite par le pouvoir adjudicateur. La
preuve de la force majeure incombe au prestataire de service. Un remplacement qui ne
s’effectue pas dans un cas de force majeure peut mener à la rupture du contrat entre le
prestataire de service et le pouvoir adjudicateur.
Les services prévus dans les termes de référence et/ou dans l’offre du consultant qui ne
pourraient être exécutés pour cause de force majeure ou par décision commune, soit feront
l’objet d’une réutilisation convenue au préalable et de commun accord entre le pouvoir
adjudicateur et le consultant, soit ne seront pas facturés.
A19. Litiges
Tous les litiges relatifs à l’exécution de ce marché sont exclusivement tranchés par les
tribunaux compétents de l’arrondissement judiciaire de Bruxelles. La langue véhiculaire est le
français ou le néerlandais.
Le pouvoir adjudicateur n’est en aucun cas responsable des dommages causés à des
personnes ou à des biens qui sont la conséquence directe ou indirecte des activités
nécessaires à l’exécution de ce marché. Le prestataire de services garantit le pouvoir
adjudicateur contre toute action en dommages et intérêts par des tiers à cet égard.
24
B. Prescriptions techniques
B1. Introduction
B1.1. Définitions
L’évaluabilité d’une intervention de coopération est définie comme:
« mesure selon laquelle une activité ou un programme peut être évalué de façon fiable et
crédible »3 ;
ou encore :
« un processus systématique qui permet d’identifier si l’évaluation d’une intervention est
justifiée, faisable et susceptible de fournir des informations utiles. Elle ne montre pas
seulement si l’évaluation d’une intervention a du sens mais aussi si la conduite de l’évaluation
est susceptible de contribuer à l’amélioration de la gestion et des résultats de l’intervention.4 »
Pour les besoins de l’étude et conformément aux dispositions légales, les définitions, critères,
principes et normes approuvés par les pays membres du CAD de l’OCDE et largement
répandus au sein des agences de développement bilatérales et multilatérales contenues dans
les documents suivants seront utilisées:
- Principes du CAD pour l’évaluation de l’aide au développement, OCDE 1991
- Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats
; CAD-OCDE 2002
- Évaluer la Coopération pour le développement – récapitulatif des normes et standards de
référence ; deuxième édition, OCDE
- Normes de qualité pour l’évaluation du développement ; OCDE 2010
- Méthodologie d’évaluation de l’aide extérieure de la Commission européenne
De l’ensemble de ces documents, il ressort clairement que pour être évaluable, une
intervention doit permettre aux consultants extérieurs de se prononcer à tout moment du
cycle d’intervention, de manière impartiale et indépendante, crédible et utile sur sa
pertinence, son efficacité (atteinte des résultats immédiats, à court et à moyen terme), son
efficience (value for money), sa durabilité et son impact.
B1.2. Contexte et raison d’être de l’étude
La pratique de l’évaluation poursuit le double objectif de rendre compte des résultats obtenus
et de tirer des leçons du passé pour améliorer le processus de décision à l’avenir. Avant
d’entamer une évaluation il convient donc de vérifier si les conditions sont réunies pour faire
une évaluation de qualité, indépendante, crédible et utile. Il faut voir si les objectifs sont
clairs, si la logique d’intervention tient la route et si un système est mis en place qui permette
de collecter des données objectives avant, pendant et après l’intervention.
L’évaluation étant aussi une partie intégrante du cycle d’une intervention, elle n’échappe pas à
la volonté des autorités budgétaires de rationaliser au maximum l’usage des ressources
3
Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002.
4
Evaluability Assessment : Examining the readiness of a Program for evaluation ; Juvenile Justice Evaluation Center ;
Washington D.C.; 2003.
25
disponibles dans un contexte devenant par ailleurs de plus en plus exigeant. Ainsi, lorsqu’une
évaluation est envisagée, les premières questions posées porte sur la nécessité, la faisabilité,
l’utilité et le rapport coût / bénéfices de la démarche.
Les faits suivants sont actés dans la littérature internationale sur le sujet (Wholey 1970,
Dawkins 2010, Rueben 2012) et relèvent également de la lecture de rapports d’évaluation
relatifs à des interventions financées par la Belgique :
Depuis de nombreuses années, les équipes d’évaluateurs sont confrontées à de sérieuses
limites qui réduisent, souvent indépendamment de leur volonté, la qualité de leurs rapports ;
par exemple :
- Les objectifs des interventions sont libellés en termes trop vagues.
- Les objectifs définis ne sont pas libellés sous forme de résultats à atteindre mais se
limitent à énumérer des activités, la distribution de dons ou de ressources.
- La logique d’intervention / théorie du changement manque de cohérence’.
- La logique d’intervention est trop générale.
- Les interventions et leurs objectifs ont été conçus sur papier et en chambre, sans tenir
compte des personnes impliquées et/ou sans tenir compte de la réalité du terrain.
- L’échantillonnage n’est pas représentatif.
- Il n’y a pas de données de départ (baseline data).
- Les indicateurs ne sont pas clairement définis.
- Les données ne sont pas désagrégées au niveau de la zone d’intervention.
- Les résultats de l’intervention ne sont pas utilisés par manque d’appropriation ou par
mauvais ciblage des bénéficiaires potentiels.
- Des interventions sensées être clôturées n’ont été mise en œuvre que (très) partiellement.
Au
-
niveau belge, voici quelques phrases tirées de rapports de mission ou d’évaluation :
Etude baseline de qualité inacceptable
Propositions insuffisantes pour les mécanismes S&E
Inadaptation des indicateurs proposés
Analyse insuffisante des hypothèses et risques
Le rapportage annuel des résultats est un exercice dont l'appropriation reste limitée.
Tous les maillons du système de suivi & évaluation interne méritent plus d'attention.
Un attaché de coopération écrivait encore récemment dans son rapport annuel : « Malgré des
efforts consentis dans ce domaine, trop de projets et programmes se retrouvent encore sans
baseline, avec des indicateurs insuffisamment SMART et avec une orientation de suiviévaluation largement orientée sur les tâches, sur les résultats en amont, oubliant la finalité
essentielle de nos activités: l’amélioration des conditions de vie des populations-cibles.»
Idéalement5 l’évaluabilité d’une intervention devrait être considérée dès sa formulation et
l’examen de l’évaluabilité faire partie intégrante du processus d’approbation des dossiers.
Dans la pratique cependant :
- Les considérations de cohérence et de qualité technique des dossiers techniques et
financiers de interventions de coopération ne sont pas toujours prioritaires.
- La préparation des interventions dure si longtemps que l’on finit par céder aux pressions
pour commencer la mise en œuvre (alors que les conditions de démarrage ne sont pas
réunies).
- Dans un contexte multi acteur et de décisions décentralisées les objectifs et stratégies des
interventions peuvent être définis sur une période en début de projet (inception phase,
année zéro,…)
- La conception des évaluations ainsi que les attentes relatives aux résultats des évaluations
ne sont pas univoques.
5
Planning evaluability assessments ; DFID Working paper 40 ; 08/2013 ; point 2.10, page 9
26
B1.3. cadre légal et réglementaire
L’arrêté royal du 25 février 2010 portant création d’un service Evaluation spéciale de la
Coopération internationale précise en son article 2, §1er, que «Le service Evaluation spéciale
de la Coopération internationale est habilité à évaluer la coopération belge au
Développement» ; et en son §2, que « … le Service Evaluation spéciale exécute ses tâches
conformément aux principes et normes approuvés par les pays membres du CAD de l’OCDE. »
Par ailleurs, la Loi du 19 mars 2013 relative à la coopération au développement stipule en
son article 33 que le Roi détermine les modalités destinées à harmoniser et à certifier les
systèmes d’évaluation des acteurs gouvernementaux et non gouvernementaux.
L’exposé des motifs de la loi précise que « la certification vise une garantie de qualité qui sera
confiée à l’Evaluateur spécial… ».
L’arrêté royal du 25 avril 2014 modifiant l’arrêté royal du 25 février 2010 portant création
d’un service ‘évaluation spéciale de la coopération internationale, confirme et précise ce
mandat en son article 2/1. Le 3° de cet article mentionne que « le Service Evaluation spéciale
est chargé d’évaluer ex-post la qualité des systèmes de suivi et d’évaluation harmonisés des
acteurs de la coopération belge au développement ».
Parallèlement, des dispositions visant à assurer le suivi et l’évaluation interne des actions et
des résultats de la CTB et des acteurs indirects ont été inscrites respectivement dans l’AR
portant assentiment du 4ème contrat de gestion, et dans l’Arrêté royal relatif aux
cofinancement des acteurs non-gouvernementaux ainsi que dans la note stratégique ‘résultats
de développement’.
B2. Objet de l’étude
L’objet de l’étude est l’évaluabilité des interventions, telle que définie en B1.1.
B3. Objectifs de l’étude
L’objectif de l’étude est triple :
- Déterminer, avec les partenaires concernés, les conditions nécessaires, suffisantes et
réalistes pour permettre l’évaluation objective d’interventions de coopération;
- Produire des enseignements utiles à l’harmonisation et la certification des systèmes
d’évaluation des acteurs décidées par le législateur ; et
- Vérifier dans quelle mesure les conditions d’évaluabilité mentionnées ci-dessus coïncident
(ou non) avec les conditions nécessaires au suivi et à la gestion axée sur les résultats de
développement des interventions et avec le cadre légal et réglementaire précités.
Sur le plan opérationnel, cette étude doit être utile :
- Au Service de l’Evaluation spéciale pour lui permettre de déterminer et ensuite de suivre
l’application des mécanismes d’harmonisation prévus par la législation. L’application des
méthodes d’évaluation harmonisées pourra progressivement être introduite dans les
critères de certification également prévus par la législation.
- Aux services de la DG-D et aux Attachés pour la coopération internationale. Cette étude
devrait les aider à identifier les conditions nécessaires et suffisantes à un bon suivi des
interventions et à des évaluations de qualité. L’étude doit aussi permettre de juger de la
capacité des intervenants à suivre et à rapporter sur les progrès à chaque niveau de
résultats (output, outcomes, impact).
- Aux organismes partenaires de la Coopération bilatérale et non-gouvernementale, pour
leur permettre de mieux intégrer le suivi, la gestion axée sur les résultats et l’évaluation
dès la formulation des interventions.
27
L’objectif général de l’étude n’est donc pas de déterminer si les interventions
actuelles sont évaluables ou non, mais bien de rendre toutes les interventions
futures évaluables à plus ou moins court terme.
L’évaluabilité des études de cas individuelles n’est pas un objectif de l’étude ; cependant les
opérateurs des cas étudiés seront informés individuellement et confidentiellement de leurs
résultats en matière d’évaluabilité.
B4. Champ de l’étude
B4.1. Champ conceptuel
Le concept d’évaluabilité peut être examiné des deux façons différentes et complémentaires
suivantes :
1) L’évaluabilité ‘théorique’ concerne le design du projet, y compris sa logique
d’intervention /théorie du changement. Vérifier l’évaluabilité théorique, c’est vérifier s’il
est possible d’évaluer l’intervention telle que décrite dans le dossier technique et
financier (DTF), le document de présentation de l’intervention ou tout autre document
de même nature rédigé avant la mise en œuvre. L’évaluabilité ‘théorique’ d’une
intervention peut être appréciée sur base d’une étude documentaire qui examine si ses
objectifs et les moyens pour y parvenir sont clairement décrits. L’examen de
l’évaluabilité théorique est clarifié dans ce sens par le CAD de l’OCDE de la façon
suivante : « l’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité
projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats
sont vérifiables.6 »
2) L’évaluabilité ‘pratique’ se penche sur les données réellement collectées et
disponibles et sur la crédibilité et l’objectivité de ces données. Elle examine aussi les
systèmes mis en place et les ressources engagées pour récolter ces données. Enfin elle
se penche sur les éléments de contexte qui peuvent éventuellement favoriser,
défavoriser, voire empêcher l’évaluation. La détermination des conditions pratiques
d’évaluabilité suppose des études de cas sur la réalité du terrain.
Dans un soucis de fournir aux responsables de la programmation des instruments permettant
d’apprécier et de suivre le volet ‘suivi-évaluation-rapportage des résultats’ des interventions,
les extensions suivantes du concept d’évaluabilité doivent également être prises en compte :
-
Examen de l’utilité d’une évaluation d’une intervention déterminée.
-
Examen d’une intervention déterminée en vue d’améliorer son système de gestion axée
résultats et de suivi-évaluation.
-
Examen d’une intervention dans le cadre d’un processus d’assurance qualité : Effectué
dans ce cadre, l’examen de l’évaluabilité permet de vérifier si tous les éléments
nécessaires au suivi et à l’évaluation sont en place et de combler les éventuelles lacunes.
B4.2. Modalités à examiner
L’étude se focalisera sur les interventions financées par l’Etat fédéral qui font l’objet d’une
fiche dans la base de donnée ODA.be:
-
projets individuels
-
programmes des acteurs non gouvernementaux
6
Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002.
28
-
programmes du Fonds belge de sécurité alimentaire
-
actions de sensibilisation au Développement.
-
interventions de coopération déléguée.
-
bourses
-
interventions d’aide humanitaire
-
programmes d’appui au secteur privé.
Est exclue du champ de l’étude toute modalité de coopération qui n’est pas spécifiquement
mentionnée dans le champ ci-dessus.
B4.3. Acteurs à examiner
L’étude se focalisera sur les acteurs de la coopération gouvernementale et nongouvernementale visés à l'article 2, 4°, 5° et 6° de la loi du 19 mars 2013 relative à la
Coopération au Développement.
Cependant, dans la mesure où les programmes du Fonds belge pour la Sécurité alimentaire
peuvent inclure la participation d’une organisation multilatérale, l’évaluabilité de ce
programme sera examinée dans son ensemble.
Hormis ce cas précis, les projets et programmes des organisations multilatérales et des
banques de développement (co)financés par la Belgique sont expressément exclus du champ
de l’étude.
B4.4. Champ temporel
L’appréciation de l’évaluabilité d’une intervention spécifique peut être effectuée à différents
moments dans la gestion du cycle d’intervention :
1) Au moment de la formulation. L’appréciation est alors purement théorique ; son
objectif est d’améliorer la qualité de la formulation avant l’approbation.
2) Au moment de la mise en place du système de suivi – évaluation, pendant la phase de
démarrage / l’année zéro. L’appréciation accompagne alors la mise en place pratique
du système de S-E en vue de l’améliorer.
3) Juste avant une évaluation. L’appréciation vise alors à examiner si l’intervention vaut
l’effort d’une évaluation ou si une évaluation est susceptible de produire des
connaissances utiles.
4) Pendant une évaluation. Ceci est pratiquement fait par la plupart des évaluateurs
lorsqu’ils examinent les limites et contraintes de leur mandat. Les rapport d’évaluation
contiennent à cet égard des informations précieuses.
L’évaluabilité sera étudiée sur un échantillon représentatif d’interventions en cours au moment
de l’étude.
Les éléments nécessaires à l’atteinte des objectifs de cette étude qui nécessitent une visite de
terrain seront, dans la mesure du possible, étudiés sur des interventions qui auront dépassé
le stade ‘mi-parcours’.
29
B4.5 Champ géographique
Les d’études de cas seront choisies en concertation avec les membres du comité
d’accompagnement en Belgique (bourses d’études, actions Nord,…), et dans les trois pays
partenaires suivants : la République démocratique du Congo, le Rwanda et le Bénin
B5. Approche et méthode
B5.1. Approche générale
L’étude se fait en plusieurs étapes et se penche sur les aspects théoriques et sur la mise en
pratique du suivi-évaluation des interventions (co)-financées par la Coopération belge au
Développement
L’évaluabilité théorique aura été examinée à travers l’examen documentaire de dossiers
techniques et financiers (DTF), de documents de présentation de l’intervention ou
de tout autre document de même nature rédigé avant la mise en œuvre.
L’évaluabilité pratique sera examinée à travers l’examen documentaire des documents rédigés
pendant la mise en œuvre et à l’occasion de missions sur le terrain.
Remarques importante :
Les résultats des études de cas individuelles ne seront rendus publics qu’aux opérateurs des
interventions concernées.
Tant l’étude documentaire que les visites de terrain doivent se limiter à collecter les
informations utiles pour atteindre les objectifs de l’étude et se prononcer sur les questions
clefs.
A aucun moment il ne faudra procéder à une évaluation proprement dite des cas d’étude.
B5.2. Echantillonnage des études de cas
Les interventions qui ont servi d’études de cas pour se prononcer sur l’évaluabilité théorique
ont été sélectionnées comme suit :
- Dans un premier temps toutes les interventions en cours en 2013, soit 2460 interventions
ont été listées et numérotées de 1 à 2460.
- Ensuite une liste de 200 nombres aléatoires entre 1 et 2460 a été générée.
- Les interventions relatives aux nombres aléatoires générés ont successivement été
examinées sur les points suivants :
o situation dans ou hors du champ de l’étude défini en B4. Par exemple, les
interventions de core funding aux organisations multilatérales ou les interventions
financées par les provinces et communes tombent hors du champ de l’étude.
o disponibilité ou accès potentiel aux documents relatifs à l’intervention (documents
de programme, dossiers techniques et financiers, rapports d’activité…). Si
l’intervention porte sur un projet faisant partie d’un programme, le programme
dans son ensemble a été pris en compte. Si l’intervention porte sur un programme
terminé en 2013, le programme débutant en 2014 a été pris en considération.
o pays d’intervention. Si l’intervention portait sur un (sous)programme faisant partie
d’un programme général multi-pays, tous les pays du programme ont été pris en
considération.
30
-
Les résultats ont été portés dans un tableau Excel jusqu’à obtenir une liste suffisante
d’interventions mises en œuvre dans 3 pays de coopération – le Bénin, la R.D. du Congo et
le Rwanda) et en Belgique (activités ‘Nord’ et gestion de programmes). Afin d’inclure un
maximum de variabilité, l’échantillon des interventions obtenues par échantillonnage a été
complété par des modalités de coopération/acteurs sous représentés.
Le choix des études de cas en vue de porter un jugement sur l’évaluabilité en pratique et
atteindre les objectifs de cette étude, aura lieu au début de la phase 3 de l’étude de commun
accord entre le service dirigeant, les membres du comité d’accompagnement et le consultant
en tenant compte des éléments suivants :
-
Pays sélectionnés : Bénin, R.D. Congo, Rwanda et Belgique.
-
Interventions déjà étudiées dans le cadre de l’évaluabilité théorique
-
Variété de modalités et d'acteurs.
-
Un total de 40 interventions : 10 en Belgique et 10 (en moyenne) dans chacun des pays
visités.
B6. Phases de l’étude
B6.1. Phase 1 : Cadre d’analyse de l’évaluabilité théorique
Cette phase a été exécutée en interne par le Service de l’Evaluation spéciale de la Coopération
belge au Développement. Elle consistait en la lecture de :
• Documents constituant le cadre légal et réglementaire de la coopération belge en
matière de suivi et d’évaluation.
• Bibliographie spécialisée sur les méthodes de suivi, d'évaluation et de gestion axée sur
les résultats ainsi que sur l’ appréciation de l’évaluabilité.
• Développement d’un cadre d’analyse de l’évaluabilité théorique des interventions.
• Test de ce cadre d’analyse sur un échantillon limité de 6 interventions.
Cette première phase a fait l’objet d’un rapport disponible en annexe.
B6.2. Phase 2 : Phase d’étude de l’évaluabilité théorique
Pendant la phase d’étude de l’évaluabilité théorique, également effectuée en interne par
le SES, chaque intervention sélectionnée, son contexte et sa spécificité ont été confrontés au
cadre d’analyse développé en phase 1.
Une fiche d’évaluabilité théorique a été établie après consultation des documents et
rapports relatifs à la préparation des interventions (rapport de mission
d’identification et de formulation, DTF, documents de programmes ACNG.
Tout comme pour la phase 1, Le résultat général est actuellement synthétisé dans un rapport
intermédiaire
et
sera
discuté
avec
différentes
parties
prenantes
en
Comité
d’accompagnement.
Ce rapport intermédiaire contiendra
• un état des connaissances quant aux objectifs de l’étude, obtenu après l’examen de
l’évaluabilité théorique,
• les hypothèses à vérifier au cours des missions de terrain.
31
B6.3. Phase 3 : phase d’étude de l’évaluabilité pratique
Cette phase commence par la détermination de l’échantillon définitif des interventions dont
l’évaluabilité pratique sera étudiée et le développement de fiches/questionnaires pour les
missions de terrain.
Les missions de terrain seront préparées
• à l’aide d’interviews de
o DGD : services géographiques et thématiques concernés par les études de cas.
o DGD : service qualité et résultats.
o CTB : desks géographiques et thématiques concernés par les études de cas.
o CTB : responsable qualité/évaluation.
o ACNG : gestionnaires responsables des études de cas.
o ACNG : personnes responsables du suivi-évaluation.
• par l’étude des documents de préparation et de suivi-évaluation disponibles pour les
études de cas
• par une étude rapide du contexte général des pays à visiter, du contexte sectoriel des
études de cas et de leur contexte spécifique.
Missions proprement dites :
• Observer les interventions ‘études de cas’ « en action » et les apprécier sur le plan de
l’évaluabilité réelle sur le terrain.
• Apprécier la capacité du projet/programme à collecter des données fiables, à les analyser
et apprécier dans quelle mesure la gestion est axée sur l’atteinte des résultats.
• Identifier des facteurs limitant et favorisant l’évaluabilité de l’intervention.
• Observer des éléments de contexte local influençant l’évaluabilité des interventions
• Déterminer, le cas échéant et pour chaque étude de cas, jusqu’à quel niveau (activités,
outputs, outcomes, impact) une évaluation est faisable, pertinente et utile, en l’état.
• Pour chaque étude de cas, rencontrer des personnes clés, capables de fournir des
informations critiques sur la mise en œuvre du système de suivi-évaluation : collecte de
données, analyse des données, gestion axée sur les résultats (utilité des données) :
Gestionnaires des interventions (belges et/ou nationaux), assistants techniques, experts,
membres des structures de concertation, bénéficiaires
• Pour chaque pays visité, rencontrer les différentes personnes, expatriées ou nationales
impliquées dans la préparation, le suivi et l’évaluation des interventions étudiées : Attaché
de coopération, Ministères pertinents, Autorités locales concernées.
• Présenter les principaux constats par pays au cours d’une réunion de débriefing local.
• Rédiger une fiche d’évaluabilité définitive par intervention étudiée. Cette fiche ne sera
communiquée qu’aux opérateurs de chaque intervention.
B6.4. Phase 4 : analyse et synthèse
Sur base des étapes précédentes, rédiger une proposition de rapport final contenant :
- une synthèse des constats faits à partir des études de cas :
• Déterminer les conditions minimales d’évaluabilité et dans quelle mesure les
interventions examinées satisfont à ces conditions.
• Capitaliser les bonnes pratiques observées en matière de préparation et de mise en
œuvre du système de suivi et d’évaluation,
• Faire un inventaire des mauvaises pratiques et des principales lacunes observées en
matière de préparation et de mise en œuvre du système de suivi et d’évaluation;
identifier les principales raisons qui font qu’une intervention ne satisfait pas aux
conditions minimales d’évaluabilité (expertise technique, raisons financières,
imprécisions dans le cadre réglementaire)
-
une conclusion sur l’ensemble des aspects de suivi-évaluabilité
des recommandations en vue d’améliorer l’évaluabilité dans le futur
32
-
Le contenu du rapport doit aussi prouver que les différents objectifs de l’étude, explicités
en B3, ont été atteints
Le projet de rapport final sera discuté en comité d’accompagnement (voir point B 7.3 cidessous) ; à la suite de quoi un rapport final définitif sera rédigé
B7 Responsabilité pour la gestion et le suivi de l’étude
B7.1. Le fonctionnaire dirigeant (FD)
•
Le Service de l’Evaluation spéciale (S4) est le service chargé de la mise sur le marché
de l’étude et du pilotage administratif du contrat. Il représente le pouvoir adjudicateur et à ce
titre est fonctionnaire dirigeant de l’étude. Dans ce sens, il vérifie la conformité de l’étude (sur
base du cadre légal et du cahier spécial des charges) mais également la qualité du processus
et des produits de l’étude.
•
S4 gère tout le processus de l’étude du début à la fin et pour ce faire il :
-
est responsable de la procédure de marché public (préparation du cahier spécial des
charges, attribution du marché, ordonnancement des factures, etc)
-
assure la conformité et la cohérence de l’étude, depuis les termes de référence jusqu’à
l’impression du rapport final et sa diffusion
-
coordonne et pilote l’activité des différents acteurs (comité d’accompagnement et équipe
de consultants) ; prépare et préside les réunions, en rédige les PV, gère les conflits
éventuels, etc
-
supervise et vérifie la qualité du travail aux différentes phases (entre autres : s’assure que
les conclusions ont des bases méthodologiques et factuelles solides)
-
est garant du bon déroulement de l’étude (entre autres : facilite le travail des consultants
et leur accès aux sources d’informations)
-
est garant de l’indépendance des consultants. Toutefois, il s’assure que les commentaires
et avis des parties prenantes sont pris en compte et que ceux qui ne le sont pas font
l’objet d’une réponse motivée des consultants.
-
valide le rapport final en utilisant une grille d’appréciation (et approuve les derniers
paiements pour services rendus).
-
organise la dissémination des résultats de l’étude et suscite la réponse managériale.
-
organise les sessions de restitution finale.
•
S4 en tant que fonctionnaire dirigeant est seul responsable de la conduite de cette
étude.
B7.2. Les parties prenantes (ou acteurs concernés)
•
Les parties prenantes (stakeholders) sont les individus, les groupes ou les
organisations qui ont des responsabilités et/ou des intérêts directs ou indirects dans l’objet de
cette étude (projet, programme, secteur, pays, etc). Elles peuvent être affectées ou non par
les résultats de cette étude. Elles sont consultées aux différentes étapes de l’étude afin de
leur permettre de fournir un avis sur les termes de référence et produits fournis (entre
autres : rapports provisoires). Dans certains cas, leur collaboration est sollicitée pour la
collecte d’informations (et pour l’organisation des missions de terrain). Elles peuvent
également être entendues par les consultants en l’absence de S4 ou d’autres parties
33
prenantes. Certaines de ces parties prenantes peuvent être membres du Comité
d’accompagnement.
Leur sélection/invitation de participer à ce comité relève de la
responsabilité de S4.
•
Pour cette étude, les partie prenantes sont les services de la DG-D gestionnaires de la
coopération bilatérale et non-gouvernementale, les services de la DG-D responsable pour le
contrôle de qualité et les résultats, les responsable de l’évaluation interne de la CTB, les
fédérations d’ONG et les autres acteurs de la coopération non-gouvernementale.
•
Le Service de l’Evaluation spéciale est exceptionnellement aussi partie prenante.
B7.3. Comité d’accompagnement
•
Le Service de l’Evaluation spéciale constituera un comité d’accompagnement (CA)
composé de représentants des acteurs concernés et d’experts indépendants. Ce comité
contribue à la qualité, la crédibilité et l’utilité de l’étude. Il donne un avis sur la méthodologie
envisagée ainsi que sur les constats, les conclusions et les recommandations de l’étude. Le cas
échéant, il complète ou corrige l’information des consultants.
•
Le SES veille à la mixité de ce comité
•
Seront membres de ce comité :
-
Minimum 2 membres du Service de l’Evaluation spéciale
-
Plusieurs membres de la DGD impliqués et/ou intéressés dans la thématique (notamment
le service D4.3).
-
Des représentants de la CTB et des acteurs de la coopération non-gouvernementale.
•
Le CA est convoqué, préparé et présidé par le Service de l’Evaluation spéciale qui en
rédige les comptes rendus.
•
Le CA est un groupe de travail « technique » qui a un mandat de réflexion et de
proposition. Il est chargé de suivre, d’accompagner et de faciliter le processus de l’étude. Par
la diversité de sa composition, le CA enrichit de ses différents points de vue le processus de
l’étude. Le CA garantit l’accès des consultants aux sources d’informations utiles
(documentation, base de données et personnes). Les membres du CA jouent un rôle
d’interface avec les services, directions et institutions dont ils font partie (DGD, CTB, acteurs
indirects). Ainsi ils informent leur service et/ou direction du processus et des produits de
l’étude et facilitent l’accès à l’information, l’organisation des interviews etc. Ils contribuent
activement à la diffusion des conclusions et recommandations de l'évaluation.
En faisant partie du CA, les parties prenantes concernées sont encouragées à s’approprier les
résultats de l’étude. Toutefois, le Service de l’Evaluation spéciale assurera un équilibre entre le
caractère participatif de l’étude et l’efficience du processus (arriver à ce que l’étude produise
des résultats en temps utile).
B8. Equipe de l’étude
Comme il a déjà été dit, les phases 1 et 2 sont réalisées en interne par le service d’évaluation
spéciale.
Les prestations relatives aux phases 3 et 4 de l’étude doivent être exécutés par une
équipe de consultants indépendants et font l’objet de ce marché public. Le fait, pour
ces consultants d’avoir déjà participé à l’évaluation d’interventions de la coopération belge et
d’avoir ainsi une expérience des difficultés rencontrées constitue un avantage. Les consultants
ne pourront toutefois pas se voir assigner l'étude d'un cas qu'ils auraient déjà formulé ou
évalué par ailleurs.
34
Autant que possible l’expertise mise en œuvre devra combiner des connaissances
- en suivi & évaluation d’interventions,
- en gestion du cycle d’intervention de coopération, et
- dans les pays et secteurs traditionnels de la coopération belge au Développement.
Les consultants devront démontrer une expérience de la pratique de l'évaluation sur le terrain.
La bonne compréhension des documents établis par l’Administration belge et dans les
différents pays sélectionnés pour les études de cas requiert la connaissance active au sein de
l’équipe de consultants du français, du néerlandais (niveau langue maternelle), de l’anglais
(niveau avancé) et de l’espagnol (niveau avancé).
Les mêmes exigences linguistiques sont requises pour l’édition des différentes traductions du
rapport final définitif.
La mixité au sein de l’équipe responsable de l’étude est requise.
Le team leader devra avoir de l’expérience en gestion d’études d’ampleur similaire, et en
gestion d’équipe. Il/elle devra également être au fait des nouvelles approches proposées en
matière de gestion, suivi et évaluation d’interventions (gestion axée sur les résultats, outcome
mapping, most significant change, theory based evaluation, méthodes quantitatives,…)
Dans chacun des pays visités pour les études de cas un expert local est également
requis.
B9. Chronogramme indicatif
La phase 1 de l’étude a déjà été réalisée en interne.
La phase 2 (évaluabilité théorique) est en cours de réalisation et sera terminée en
décembre 2014. Le rapport relatif à cette phase sera communiqué en temps utile à
l’attributaire.
Le marché de services requis pour la réalisation des phases 3 et 4 sera attribué à un
consultant extérieur.
Le début des prestations est fixé à janvier 2015
B10. Les rapports
B10.1. Nature des rapports
Les produits de l’étude sont :
-
Un cadre méthodologique à la fin de la phase 1
-
Un rapport intermédiaire et les fiches d’évaluabilité théorique pour les interventions
étudiées à la fin de la phase d’étude (phase 2).
-
Les fiches d’évaluabilité pratiques pour les interventions visitées et les présentations
PowerPoint des débriefings de fin de mission (phase 3).
-
Une proposition de rapport final et un rapport final (phase 4).
B10.2 Structure du rapport final :
La structure détaillée du rapport final sera convenue en cours d’étude. Le plan d’ensemble du
rapport fera cependant apparaître les parties suivantes :
-
Synthèse
-
Contexte de l’étude
35
-
Synthèse des réponses aux questions relatives à l’évaluabilité des études de cas.
-
Autres constats
-
Leçons (au sens de la définition du Glossaire du CAD)
-
Conclusions
-
Recommandations ; principalement proposition des conditions nécessaires et suffisantes et
des mesures à prendre pour permettre l’évaluabilité théorique et pratique d’une
intervention (co)financée par la Belgique.
-
Annexe1 obligatoire : termes de référence
Le rapport final devra être court (60 pages hors annexes au maximum). Les informations
supplémentaires sur le contexte, le programme ou les aspects globaux de la méthodologie et
de l'analyse seront placées dans les annexes.
Les annexes devraient comprendre : la méthodologie ; les questionnaires ; les critères de
jugement ; la liste des personnes rencontrées ; la liste de documentation y compris la
bibliographie éventuelle ; les TdR ; les commentaires exprimés sur la proposition de rapport
final qui n’ont pas été pris en compte par les consultants et les raisons justifiant cette non
prise en compte ; toute autre information servant de base à l’analyse ou aux tableaux.
B10.3. Qualité :
Les rapports seront rédigés en utilisant les styles et le lay-out fournis par le Fonctionnaire
dirigeant.
Les rapports doivent être de très haute qualité. Les résultats, l’analyse, les conclusions et les
recommandations devront être approfondis. Ils devront refléter une approche méthodique
faisant apparaître clairement les séquences du raisonnement.
Les rapports seront soumis par le service dirigeant à une grille d’assurance de qualité qui sera
communiquée aux consultants en temps utile.
B10.4. Ponctualité :
Les rapports soumis à l’appréciation des différentes réunions du comité d’accompagnement
devront être en possession du pouvoir adjudicateur au moins 6 jours ouvrables avant la date
fixée de commun accord pour le comité.
B10.5. Langue des rapports :
Les documents provisoires peuvent être rédigés en français ou en néerlandais au choix
consultant.
du
Le rapport final définitif sera rédigé soit en français, soit en néerlandais, et traduit dans l’autre
langue.
Un résumé en 2 pages devra être préparé en français, en néerlandais et en anglais. .
Les présentations Powerpoint en Belgique devront se faire en partie en français, en partie en
néerlandais, en respectant un certain équilibre entre les 2 langues.
Les présentations Powerpoint de débriefing des missions de terrain devront se faire dans
une langue internationale du pays concerné.
36
Les traductions devront être éditées par le consultant ; pour les versions française et
néerlandaise, obligatoirement par un membre de l’équipe dont c’est la langue maternelle.
B11. Bibliographie
•
•
•
•
•
•
•
DFID Report, 2013. Planning evaluability assessments. A synthesis of the literature
with recommendations. Report of a study commissioned by the Department of
International Development.
UNIFEM Evaluation Unit ; 12/2009 ; « Guidance Note on Carrying Out an Evaluability
Assessment.
ADE (Analysis for Economic Decision), CRED (Centre de Recherche en Economie du
Développement), 2013. Evaluation ex-post d’impact de 4 projets de coopération
gouvernementale.
ITAD ltd, the Overseas Develoment Institue, 2000. The Evaluability of Democracy and
Human Rights Projects: A logframe-related assessment (Sida studies in evaluation).
Mott MacDonald Ltd, HLSP, 2010. Evaluability Study of Partnership Initiatives Norwegian Support to Achieve Millennium Development Goals 4 & 5 (Norad evalution
department).
Wholey J. S., Hatry H. P., Newcomer K. E., 2010. Handbook of practical program
evaluation.
Evaluability Assessment: Examining the readiness of a program for evaluation.
http://www.jrsa.org/pubs/juv-justice/evaluability-assessment.pdf
37
C. Annexes
C1. Fiche de renseignements
C1.1. Offre technique
Remarques générales
Nous invitons les candidats- soumissionnaires à lire attentivement l’entièreté du cahier spécial
des charges (y compris les notes de bas de page). Il n’est pas rare en effet que le pouvoir
adjudicateur soit obligé de rappeler à l’adjudicataire certaines obligations qui sont pourtant
bien explicites dans le CSC. Nous rappelons également qu’en cas d’incohérence entre le CSC
et l’offre du consultant, c’est toujours le CSC qui prime.
Le CSC, en ce compris sa partie B "Prescriptions techniques", a été rédigé conjointement par
un ensemble d'experts internes du SPF, après consultation des autres parties impliquées par
l’étude. Malgré les efforts de ces personnes, compétentes en évaluation et/ou au niveau de
l'objet de l'étude, le CSC et plus particulièrement les termes de référence peuvent contenir
des éléments sujets à interprétations.
Le candidat-soumissionnaire qui constaterait de tels éléments est invité à en faire part le plus
vite possible au pouvoir adjudicateur (voir point A4 Informations complémentaires). Le
pouvoir adjudicateur ne souhaite donc pas rencontrer de chapitre "Notre
interprétation des TDR" dans l’offre. Les soumissionnaires peuvent éventuellement
démontrer brièvement qu’ils ont compris la nature et l’ampleur des services demandés.
Dans la mesure où il est sensé remettre une offre technique et financière ferme et définitive,
le soumissionnaire n’utilisera pas d’expressions telles que "si le temps le permet" ou "si le
budget le permet".
Dans son offre, le candidat-soumissionnaire doit absolument éviter de ‘copier – coller’ du
contenu des TDR et éviter de répéter des principes, définitions et pratiques largement connus
dans le monde de la coopération au développement et de l’évaluation. Le cas échéant, les
morceaux de texte qui ne sont pas issus de l’auteur de l’offre doivent être clairement identifiés
(en lettre italiques, entre guillemets et avec mention des sources).
Si le soumissionnaire n’a pas introduit son offre de manière électronique, une copie
électronique (par e-mail ou sur CD-ROM, ‘write protected’ ou non) sera demandée à fin de
faciliter la communication des offres aux membres du comité d’appréciation. Cette version
n’aura alors pas de valeur légale mais sera bien entendu couverte par l’article 6, §1er, 2° de
l’Arrêté royal du 15 juillet 2011.
Structure de l’offre
N’oubliez pas de prévoir une numérotation continue et ininterrompue de toutes les pages de
votre offre, de votre inventaire et des annexes.
L’offre technique et l’offre financière doivent être structurées de façon à faciliter au maximum
l’examen en fonction des critères d’exclusion, de sélection et de régularité ; ainsi que de
l’appréciation selon les critères explicités au point A12.
Sont notamment importants :
38
-
-
Approche méthodologique :
o
Brève démonstration que le soumissionnaire a compris la nature et l’ampleur des
services demandés.
o
Grandes lignes du cadre d’étude général et des cadres d’études par intervention,
logiques d’intervention / théories du changement, questions et sous-questions qui
seront utilisés pour atteindre les objectifs de l’étude. S'il y a lieu de référer à d'autres
approches méthodologiques ou 'cadre de référence' ('Framework') connus, cela se fera
en libellant clairement leur nom ainsi que l'adresse du site internet où le pouvoir
adjudicateur pourra trouver des précisions. Si le soumissionnaire propose une
méthodologie innovante créée par lui, le résumé de l'innovation et la justification de
son utilisation doivent se retrouver dans ce volet. Le soumissionnaire précisera /
spécifiera (et justifiera) donc l'application des cadres méthodologiques général et
spécifiques par intervention proposés sans s'avancer dans des généralités.
Approche proposée pour l’organisation pratique de l’étude :
o
Présentation du bureau d’étude soumissionnaire et des bureaux sous-traitants ou
associés dans le Nord comme (éventuellement) dans le Sud.
o
chronogramme indicatif des différentes phases déjà indiquées dans les termes de
référence.
o
répartition de l’expertise, y compris pour le contrôle de qualité et le backup en cas de
force majeure, au cours des différentes phases. Précisez clairement le nombre de jours
de travail par expert et par phase. Distinguez clairement le nombre de jours de travail
effectif sur le terrain d’avec les jours de préparation et de voyage. Les longs
déplacements locaux seront de préférence programmés pendant les weekends. Les
consultants sont sensés travailler selon un horaire raisonnable. C'est surtout lors de
l'étude de terrain que les délais doivent être crédibles par rapport aux résultats
souhaités. La nuit sert à se reposer. Il semble judicieux que la rédaction de l’aidemémoire de la mission se fasse au grand jour lors de pauses efficaces interrompant la
succession des entrevues et observations sur le terrain et de manière plus intensive
pendant les 2 jours précédant la restitution locale.
o
Structure de l’équipe, y compris l’équilibre genre et linguistique.
-
Description de l’équipe qui ou du team leader va diriger l’étude: qualification et expérience
en suivi-évaluation, en direction d’étude, en gestion d’équipe, en connaissance de la
coopération belge au développement et en contrôle de qualité.
-
Description des qualifications et de l’expérience des experts individuels (y compris, le cas
échéant, les membres de l’équipe dirigeante) par rapport au suivi et à l’évaluation
d’interventions de coopération. Dans cette partie, le consultant : décrit chaque membre de
l’équipe en mettant l’accent sur les qualités des experts internationaux et locaux sur les
aspects qu’ils prendraient en charge.
-
Description des qualifications et de l’expérience des experts individuels (y compris, le cas
échéant, les membres de l’équipe dirigeante) par rapport aux secteurs et aux pays dans
lesquels sont situées les interventions qu’ils prendraient en charge.
39
C1.2. Offre financière
Un tableau indicatif vous est proposé ci-dessous pour faciliter la comparaison entre les offres.
Il vous est bien entendu loisible d’ajouter et/ou de désagréger des lignes.
coût
par
avec
Poste de dépense
unité unité quantité total
TVA
TVA
Salaire expert …(nom de l’expert)…
jours
jours
jours
jours
jours
jours
jours
jours
(Ajoutez des lignes selon le nombre d’experts)
Transport Experts <> Bruxelles
Voyages aériens des consultants internationaux pour les
missions de terrain
A/R
A/R
Per diem des experts pendant les missions
jours
Frais de logement des experts
nuits
Déplacements locaux (vols intérieurs, trains,…)
A/R
Location véhicule + chauffeur + carburant + assurance
Frais liés aux rencontres / interviews / visites de terrain…
coût séance restitution locale (location de la salle + café
/ thé / biscuits)
jours
Forfait
/unité
Forfait
/unité
Traductions
page
Communication/ impression / duplication
forfait
(Ajoutez des lignes pour d’autres dépenses éventuelles)
TOTAL
Annexes
Toutes les annexes doivent porter la mention : « Pour être joint à mon offre du ... et
en faire partie intégrante » (suivie de la date et de la signature, ainsi que du nom,
du prénom et de la qualité du signataire).
-
CV des consultants suivi d’une déclaration de disponibilité.
C2. Formulaires de soumission
Voir fichier Word
40
FORMULAIRE DE SOUMISSION
Administration disposant du pouvoir adjudicateur : Service public fédéral Affaires
étrangères, Commerce extérieur et Coopération au Développement, Rue des petits Carmes,
15 - 1000 Bruxelles. Service dirigeant : Service de l’Evaluation spéciale de la Coopération
belge au Développement (S4).
Cahier spécial des charges réf. S4/2014/01 de juin 2014 relatif à l’étude de l’évaluabilité
des interventions de coopération (phase 3 et 4).
SOUMISSION de la société …(dénomination, forme juridique, nationalité, siège social)…,
agissant comme soumissionnaire ou fondé de pouvoirs et signant ci-dessous,
Inscrit à la banque carrefour des entreprises sous le numéro: (numéro d’entreprise)
Ladite société s'engage à exécuter, selon les éléments et conditions du cahier spécial des
charges n° S4/2014/01, le marché de prestation de service relatif à l'étude mentionnée cidessus
au prix forfaitaire global (hors TVA) de : (prix en toutes lettres) ;
en chiffres…(prix en chiffres).....EUR
Montant de la TVA: (montant en toutes lettres) ;
en chiffres:..(TVA en chiffres).........EUR
ce qui donne un coût, TVA comprise de:……(en toutes lettres)……EUR
en chiffres: …(coût en chiffres)
Les paiements seront exécutés valablement par virement sur le compte numéro IBAN :
………………………., BIC………………. , ouvert au nom de .................................... , chez :…..(nom
de l’institution financière).
Fait à ………………………..., en 2 exemplaires originaux, le ..............................
Le soumissionnaire:
( signature, nom et mention manuscrite de « bon pour soumission »)
Partie réservée à l'Administration
Attribution du Marché N° S4/2014/01
Date & visa du Contrôleur des engagements
Dominique de Crombrugghe
Evaluateur spécial
41
Bijlage 2: Beschrijving van de aanpak en
onderzoeksmethodologie
1. Opstart van de studie
De bespreking, in de kick off vergadering van het begeleidingscomité (BC) van 12 maart, kan
aanzien worden als de formele start van de studie. De vergadering behandelde twee
belangrijke punten: de voorstelling en bespreking van de resultaten van de twee eerste fasen
(door DBE uitgevoerd) en de voorstelling, door de consultants, van het voorlopige studiekader
(zie hierna en ook bijlage 3).
De discussie in het BC verliep vrij geanimeerd en bleek erg belangrijk om de context en het
doel van deze studie te verduidelijken. Bij een aantal deelnemers was immers enige
terughoudendheid te merken ten aanzien van het onderwerp en doel van deze studie,
waarvan men vreesde dat de resultaten gebruikt zullen worden om de eisen op het vlak van
interventie-voorstellen en –rapportage nog drastisch op te schroeven terwijl die momenteel
reeds op vele vlakken erg hoog liggen. De voorstelling van het voorlopige studiekader gaf
anderzijds geen aanleiding tot lange discussies, ook al omdat was besloten om alleen de
hoofdlijnen van dit kader voor te stellen.
Aan het einde van de vergadering werd ook de timing van de uitvoering van de studie
besproken. Het oorspronkelijke plan van de consultants om in april vooral de tien in België
geselecteerde interventies te bestuderen en België dus als pilootland te nemen, kon op weinig
begrip rekenen bij een aantal deelnemers, met name vooral de vertegenwoordigers van de
niet gouvernementele actoren, omdat de maand april voor hen een maand is van intense
administratieve activiteit: op 30 april moet immers het jaarverslag van 2014 worden
voorgelegd. Bovendien waren de NGA druk bezig met de uitwerking van de door DGD
gevraagde gezamenlijke contextanalyses. Er werd daarom besloten om de analyse van de
Noord acties in België niet meer als pilootactie te weerhouden. Eveneens werd de consultants
gevraagd om de veldmissie in Benin goed af te stemmen met de missie naar hetzelfde land in
het kader van de Duurzaamheidsevaluatie die eveneens in opdracht van de DBE wordt
uitgevoerd.
2. De steekproefbepaling
Overeenkomstig de vereisten van het bestek werden 40 interventies in vier landen (België,
Benin, DRC en Rwanda) geanalyseerd; in elk land werden 10 interventies weerhouden7. Het
ging daarbij telkens over interventies die qua uitvoering reeds ver waren gevorderd, eventueel
via een voorgaande fase. De selectie gebeurde op basis van een inventaris opgesteld door
DBE (aantal in 2013 actieve interventies) bevattende:
o voor DRC: 161 interventies
o voor Rwanda: 67 interventies
o voor Benin: 41 interventies
o voor België: 421 interventies
De steekproefbepaling gebeurde niet aselect, maar beoogde een oververtegenwoordiging van
kleinere sectoren en actoren en van atypische interventies (bv. studiebeurzen) om maximaal
tot de uiteindelijke bruikbaarheid van de studie te kunnen bijdragen en bijvoorbeeld oog te
7
Een lijst met de 40 projecten is opgenomen in bijlage 4.
42
hebben voor de specifieke uitdagingen die de bepaling van hun evalueerbaarheid en evaluatie
van atypische interventies met zich meebrengt.
De bepaling van de steekproef gebeurde verder op basis van volgende onderliggende
hypothesen die in essentie gaan om het identificeren van factoren die de evalueerbaarheid
mogelijk beïnvloeden en die als zodanig richtinggevend kunnen zijn bij de bepaling van criteria
voor de steekproeftrekking:
• de kwaliteit van het interventie-ontwerp (doelstellingenschema, onderliggende TOC,
indicatoren) bepaalt in belangrijke mate de (theoretische) evalueerbaarheid; in de
context van de Belgische (directe en indirecte) OS, wordt de wijze waarop het
interventie-ontwerp is uitgewerkt, mede bepaald vanuit de (eisen van) de medefinancierende overheid. Als zodanig zal het kanaal/instrument van de samenwerking de
evalueerbaarheid beïnvloeden;
• binnen de NGAs is men langzaamaan geëvolueerd in de richting van een programma
benadering; sommige organisaties hebben op dat vlak grotere vooruitgang gemaakt
dan andere; globaal mogen we aannemen dat een specifieke actie redelijk goed het
globale programma kan vertegenwoordigen wat “evalueerbaarheid” betreft;
• de sector van de interventie (“harde” versus “zachte” sector) en, binnen elke sector, de
gevolgde aanpak/strategie (klassiek versus innovatief) hebben een invloed op de
soliditeit van de TOC en als zodanig op de evalueerbaarheid;
• de evalueerbaarheid wordt vervolgens bepaald door de intrinsieke kwaliteit van het
(M&E) managementsysteem dat zich heeft geënt op het interventie-ontwerp;
• de gedragenheid/het ownership van interventie-ontwerp en M&E systeem binnen de
uitvoerende organisatie(s) zullen de beschikbaarheid (kwaliteit en volledigheid) van de
informatie (en dus van de evalueerbaarheid) mede bepalen;
• een aantal factoren die de evalueerbaarheid mede bepalen zijn contextueel en
ontsnappen
als
zodanig
aan
de
invloed/controle
van
evaluatoren:
institutionele/geografische/ veiligheids/… factoren die toegang tot betrokken partijen
en hun houding ten aanzien van een evaluatie (en bereidheid tot het verstrekken van
betrouwbare informatie) bepalen;
• interventies/programma’s
die
een
vervolg
vormen
van
eerdere
interventies/programma’s zijn in de regel beter evalueerbaar dan nieuwe interventies
(TOC reeds empirisch getest, M&E systeem beter gerodeerd, beter integratie
contextuele elementen, eindrapportage van vorige fase die minstens gedeeltelijk als
baseline kan dienen voor de volgende fase).
Op basis van het bovenstaande werden in eerste instantie volgende criteria gehanteerd bij de
selectie van de steekproef:
• het type interventiekanaal in functie van de mate van sturing door DGD; drie groepen
werden onderscheiden: bilaterale samenwerking via BTC, NGAs (NGOs, vakbonden) en
een derde groep bestaande uit APEFE/VVOB/Universiteiten/BIO (deze laatste groep
heeft meestal een grotere “vrijheid” in de projectcyclus);
• interventies met veeleer “minder complexe” onderliggende veranderingstheorieën
(TOC) en interventies met een veeleer “complexe nog verder uit te testen”
onderliggende TOC; omdat het ondoenlijk is om ex ante de TOC van alle interventies
van de database te gaan nakijken, werden proxy indicatoren m.b.t. de soliditeit van de
TOC gehanteerd: harde versus zachte sector, nieuwe aanpak versus upscaling/roll out
en/of nieuw project versus vervolgproject;
• mate van operationele aanwezigheid/invloed van de Belgische partner bij de projectuitvoering;
• per land, minstens één “speciale” interventie (BIO, synergie-project, BFVZ, …);
• per land minstens één interventie waarin gender een prominente plaats inneemt;
• voor zover mogelijk per land een aantal (streefcijfer minstens 1/3) interventies die
geselecteerd waren in fase 1 en 2 van de studie.
Na een testfase bleken bovenstaande criteria echter te complex en ambitieus en werd
geopteerd voor vereenvoudigde criteria:
43
•
•
•
•
als eerste en belangrijkste criterium werd gekozen voor het interventiekanaal,
waarbij in elk land zoveel mogelijk actoren zullen worden opgenomen;
als tweede criterium wordt het onderscheid tussen sectoren met een minder
complexe onderliggende TOC en sectoren met een meer complexe TOC
genomen; sectoren met doorgaans minder complexe TOC zijn: gezondheid, onderwijs,
water en sanitatie, sociale economie, terwijl de sectoren met een doorgaans meer
complexe TOC zijn: klimaat en milieu, conflict en vrede, governance en landbouw en
rurale ontwikkeling (deze laatste sector werd in deze categorie gezet om globaal tot
een evenwichtige steekproef te komen); in de praktijk werd dit criterium verder
verfijnd in de zin dat ook gekeken werd naar de aard van het project: zo kon een
project van institutionele versterking in een ‘minder complexe’ sector uiteindelijk toch
als complex worden gecatalogeerd;
keuze voor interventies met substantiële uitgaven bij voorkeur in 2015 maar
zeker in 2014 (achterliggend is de overweging dat bij interventies die reeds enkele
jaren geleden zijn gestopt het erg moeilijk is om de praktische evalueerbaarheid te
analyseren).
keuze voor (minstens) één interventie per land waar gender en/of een ander
transversaal thema prominente aandacht krijgt (basis: titel van het project).
De uiteindelijke selectie is gebeurd op basis van bovenstaande criteria, waarbij in een aantal
gevallen oorspronkelijk geselecteerde interventies niet konden weerhouden worden:
• in de DRC was het om evidente redenen nodig om een bijkomend criterium te
hanteren, met name de locatie (provincie) van uitvoering; er werd besloten om te
kiezen voor interventies met activiteiten in volgende regio’s: Kinshasa, Bas Congo en
Katanga;
• het criterium “substantiële uitgave in 2015 maar zeker in 2014” bleek onvoldoende als
aanduiding voor interventies die reeds voldoende ver zijn gevorderd om de praktische
evalueerbaarheid nuttig te kunnen evalueren: in vele gevallen bleek geen informatie
met betrekking tot 2015 gemakkelijk beschikbaar, terwijl met name bij een aantal
bilaterale interventies bleek dat substantiële uitgaven in 2014 niet noodzakelijk een
aanduiding waren van interventies op kruissnelheid, maar soms een weergave waren
van belangrijke initiële investeringen nodig voor de projectuitvoering;
• het onderscheid tussen sectoren met een “complexe” en “minder complexe” sectoren
was evenmin waterdicht als criterium omdat ook in “minder complexe” sectoren een
aantal interventies voorkwamen met een “complexe” TOC, bijvoorbeeld interventies
van het governance type in “minder complexe ” sectoren”, bijvoorbeeld een interventie
die institutionele versterking beoogt van het ministerie van gezondheid. Overigens
werd in een latere fase, met name tijdens de analyse van de documentatie, duidelijk
dat binnen eenzelfde interventie dikwijls complexe en minder complexe componenten
worden gecombineerd, wat de relevantie van het gehanteerde onderscheid tussen
complexe en minder complexe sectoren nog verder doet afnemen;
• bij een aantal vervolginterventies (met name bij interventies van NGAs) werd er voor
gekozen om niet alleen de huidige interventie (periode 2014-2016) maar ook de
voorgaande (2011-2013) interventie mee te nemen om op die wijze een globaler zicht
te kunnen bekomen m.b.t. de evalueerbaarheid.
Vanuit het bovenstaande mag het geen verwondering baren dat de samenstelling van de
steekproef meer tijd en energie heeft gevraagd dan initieel verwacht. Ook moesten in enkele
gevallen interventies worden afgevoerd waarvan de documentatie reeds was verzameld,
teneinde een aantal evenwichten gebaseerd op de hierboven vermelde criteria te kunnen
respecteren. De uiteindelijke steekproef van 40 interventies is opgenomen in bijlage 4.
De uiteindelijke steekproef van 40 interventies bestaat uit:
• 10 interventies in elk van de vier weerhouden landen;
• 24 (60%) complexe en 16 (40%) niet complexe interventies;
• 10 (25%) bilaterale interventies, 20 (50%) interventies uitgevoerd door NGOs of
vakbonden en 10 (25%) interventies uitgevoerd door andere actoren (meer bepaald
APEFE, VVOB, de universitaire samenwerking, BIO, ITG, BOS+, VVSG).
44
3. De uitwerking van het studiekader
Het studiekader nam de definitie van evalueerbaarheid als uitgangspunt. Het bestek van de
studie vermeldt op blz. 22 twee verschillende definities van de evalueerbaarheid van een
ontwikkelingsactie. Daarvan wordt de OESO DAC definitie in de praktijk het meest gebruikt:
Evaluability is the extent to which an activity or project can be evaluated in a reliable and
credible fashion. De tweede definitie (overgenomen uit het document van het Juvenile Justice
Evaluation Center) voegt aan de DAC definitie evenwel een belangrijk element8 toe door te
stellen dat het bepalen van de evalueerbaarheid eveneens impliceert dat wordt nagegaan in
hoeverre de evaluatie bij kan dragen tot de verbetering van het beheer en van de resultaten
van de actie.
Een en ander wordt in het bestek verder uitgewerkt via het onderscheid tussen ‘theoretische’
evalueerbaarheid’ (die naar de OESO DAC definitie en haar uitwerking refereert) en
‘praktische evalueerbaarheid’; deze laatste wil immers nagaan of - bijvoorbeeld - gegevens
effectief zijn verzameld en systemen daadwerkelijk worden gebruikt waardoor kan worden
bijgedragen tot verbetering van beheer en resultaten. Op die wijze is snel de brug gemaakt
naar het onderzoek (als onderdeel van het nagaan van de evalueerbaarheid) van het nut van
een evaluatie, waarbij het concept van evalueerbaarheid de facto wordt uitgebreid (zie bestek,
blz. 26).
Vanuit het bovenstaande heeft de studie ervoor gekozen om “evalueerbaarheid” vooral als een
continuüm te benaderen: hoogstwaarschijnlijk is geen enkele interventie perfect in al haar
facetten evalueerbaar, maar evenmin zullen er interventies zijn die helemaal niet geëvalueerd
kunnen worden. Verder kan een evaluatie vele aspecten van de interventie betreffen (de
klassieke DAC criteria, maar ook daarbuiten), maar hoeft ze die niet steeds mee te nemen.
Voor deze studie was vooral de zogenoemde praktische evalueerbaarheid van belang. Het was
de bedoeling deze na te gaan op het niveau van 40 interventies waarvan de uitvoering reeds
over ‘halfweg’ is (althans in theorie). Het kwam er dus op aan om aan het einde van de studie
te beschikken over inzichten, instrumenten, … met een directe bruikbaarheid voor de
verschillende actoren (DBE, diensten DG-D, Attachés, partners van de bilaterale en indirecte
samenwerking) die toelaten eenduidig te bepalen welke elementen nodig zijn om een
interventie daadwerkelijk te kunnen evalueren (voor wat betreft de verschillende DAC
criteria), maar ook ook aanduidingen kan geven rond de haalbaarheid en wenselijkheid van
een evaluatie op een bepaald tijdstip in een gegeven context.
Bij de uitwerking van het analysekader werd uitgegaan van een studie van Rick Davies in
opdracht van DFID (Planning evaluability assessments:
A synthesis of literature with
recommendations). Intense reflecties in het studieteam hebben er evenwel toe geleid dat met
name het tweede en belangrijkste deel van het studiekader in vergelijking met Davies’
benadering sterker is uitgediept. Concreet werd de volgende afbakening in drie componenten
aangehouden voor de analyse van de praktische evalueerbaarheid:
• hoewel niet expliciet gevraagd in het bestek, is ervoor gekozen om bij deze analyse
ook het interventie-ontwerp (inclusief de onderliggende veranderingstheorie) te
bekijken dat via de theoretische evalueerbaarheid wordt geanalyseerd9;
• de praktijk m.b.t. de uitvoering en beheer van de interventie en de context (inclusief
gebruik van menselijke en financiële middelen) vormt het tweede en belangrijkste
onderdeel;
• de analyse van contextuele factoren is een derde aandachtspunt; deze factoren kunnen
een rol spelen zowel op het vlak van het interventie-ontwerp als dat van de systemen
om gegevens te genereren, als bij de (toekomstige) uitvoering van de evaluatie zelf.
8
Het is mogelijk dat dit element impliciet deel uitmaakt van de OESO-DAC definitie, maar helemaal
duidelijk is dat niet.
9
Een goede kennis van het interventie-ontwerp is o.i. nodig om de kwaliteit van de bestaande
informatieverzameling en M&E systemen te beoordelen, maar ook om een solide basis te creëren voor de
analyse van de praktische evalueerbaarheid in het algemeen.
45
Het studiekader is opgenomen in bijlage 3 en werd tijdens de uitvoering lichtjes bijgesteld (zie
hierna, punt 4).
Verder werd besloten om het resultaat van de vorige drie stappen, dat een inzicht moet
bieden in de praktische evalueerbaarheid, te vertalen in praktische (maar uiteraard
vrijblijvende) suggesties voor het ontwerp van een toekomstige evaluatie en voor de
aanpassing van het M&E systeem van de interventie, en bovendien aan de betrokken
organisaties (c.q. interventies) te vragen in welke mate zij dit advies nuttig vinden naar de
toekomst toe. Deze stappen werden voorgesteld overeenkomstig het gezegde ‘the proof of the
pudding lies in the eating’: de toets van de daadwerkelijke waarde van de analyse van de
praktische evalueerbaarheid ligt immers in wat er daadwerkelijk mee gebeurt, of kan
gebeuren. Het was de bedoeling dat deze ‘extra’ oefening de bruikbaarheid van de studie zou
verhogen, omdat de feedback zou toelaten om de eigenlijke analyse van de praktische
evalueerbaarheid aan te scherpen. Bovendien kon deze extra stap de betrokken stakeholders
extra motiveren om hun volle medewerking aan de studie te verlenen.
Omdat sinds de start van de studie duidelijk was geworden dat de notie “evalueerbaarheid”
vele reacties oproept en dat deze reacties de vlotte uitvoering van de studie niet steeds ten
goede kwamen, werd besloten om een korte nota uit te werken (in het Nederlands en het
Frans). Deze nota (4 blz. in totaal) beschrijft kort (1) doel, aard en omvang van de studie, (2)
de noties van theoretische en praktische evalueerbaarheid, (3) de focus en aanpak van de
studie, (4) de verdere uitwerking van de bepaling van evalueerbaarheid, en (5) enkele
praktische punten.
Deze nota is opgenomen aan het einde van deze bijlage.
4. De gegevensverzameling
De gegevensverzameling gebeurde via een combinatie van secundaire en primaire
dataverzameling. Voor de secundaire data werd aan de voor de uitvoering van de interventies
verantwoordelijke organisaties gevraagd om volgende documenten aan te leveren:
• het interventievoorstel (dat onderdeel kan uitmaken van een breder programma), het
baseline verslag (indien een baseline werd uitgevoerd), uitvoeringsverslagen (bv.
jaarverslagen, eindverslag), verslagen van studies en evaluaties;
• documenten m.b.t. het monitoring- en evaluatiebeleid van de betrokken organisatie
(voor zover de organisatie over een M&E beleid beschikt) en m.b.t. de wijze waarop dit
beleid eventueel werd uitgewerkt in M&E instrumenten.
De beperking van de documentatie tot de basisdocumenten is gerelateerd aan de keuze van
het studieteam om per interventie vier werkdagen te voorzien om de evalueerbaarheid te
bepalen, deze tijdsbesteding is grosso modo vergelijkbaar met de tijd die wordt uitgetrokken
voor reële evaluaties op interventieniveau (inclusief de studie van de basisdocumentatie en
intake gesprekken).
Primaire data werden verzameld via interviews met de betrokken sleutelactoren en via focus
groep discussies (FGD) die werden gevoerd op basis van een aantal sleutel-vragen. Voor de
FGD werd in eerste instantie de deelname beoogd van de personen betrokken bij de 40
weerhouden interventies. In totaal werden 3 FGDs georganiseerd; één met de betrokken
personen binnen de DG-D, één met de betrokken personen binnen BTC, en één met de
betrokken personen van de NGAs. Andere vertegenwoordigers van de betrokken organisaties
en in het thema geïnteresseerde personen werden eveneens de mogelijkheid geboden om deel
te nemen aan de FGD. De respons op deze uitnodiging was erg divers: groot bij de NGAs
(met deelname van enkele vertegenwoordigers van organisaties die niet rechtstreeks bij de
studie zijn betrokken), volgens plan bij BTC en beneden verwachting bij DG-D. Naast
inhoudelijke discussies was het voor het onderzoeksteam belangrijk inzicht te krijgen in hoe
de actoren denken over deze problematiek, wat hun bezorgdheden en ook hun verwachtingen
zijn. Ownership creëren was in die zin een belangrijke nevendoelstelling van de FGD. De
richtvragen voor de FGD’s waren als volgt:
1. Het begrip “evalueerbaarheid” wordt tot nu toe niet frequent (of tenminste: niet
expliciet) gebruikt in de dagelijkse praktijk van het ontwikkelingswerk. Klopt dat in uw
46
2.
3.
4.
5.
geval? Bent u tot nu toe – expliciet of impliciet - met “evalueerbaarheid” bezig
geweest in uw werk?
Denkt u dat een meer bewust hanteren van het begrip “evalueerbaarheid” de kwaliteit
van het ontwikkelingswerk (in het algemeen) ten goede kan komen? Waarom (niet)?
Wat zijn de mogelijkheden, wat zijn de gevaren?
Kan een goed gebruik van het begrip “evalueerbaarheid” de praktijk van uw organisatie
verbeteren? Zo ja, hoe; onder welke voorwaarden?
Welke factoren zijn volgens u het meest bepalend bij “evalueerbaarheid” en zouden
tijdens deze studie een speciale aandacht moeten krijgen?
Hebt u concrete suggesties m.b.t. de uitvoering van de terrein-missies (inclusief het
werk in België)?
In elk van de vier betrokken landen werden een aantal sleutelactoren geïnterviewd. De drie
landen in het Zuiden werden elk gedurende drie weken bezocht. De gegevensverzameling
gebeurde door teams samengesteld uit zuidelijke en noordelijke onderzoekers. In totaal waren
bijna twee werkdagen per interventie (inclusief reistijd) beschikbaar. Sommige interviews
gebeurden apart, andere brachten verschillende stakeholders samen. In de mate van het
mogelijke organiseerden de onderzoekers nadien een korte en vertrouwelijke feedbacksessie,
waarin ze hun eerste voorlopige bevindingen meedeelden en met de betrokkenen bespraken
en een feedback-nota met de betrokkenen deelden. Deze konden op hun beurt de
onderzoekers feedback geven. Aan het einde van de drie missies in het Zuiden, werd telkens
een debriefing georganiseerd op de Belgische ambassade ten behoeve van de bij de
interventies betrokken actoren. Tijdens deze sessie werden de voorlopige geaggregeerde
bevindingen op het niveau van het land voorgesteld en besproken. Daarbij werd,
overeenkomstig de eisen van het bestek, de anonimiteit van de interventies steeds
gewaarborgd. In België werden de sleutelactoren van elke interventie eveneens bezocht, door
één of twee onderzoekers. Ook in België werd een restitutie georganiseerd die voor vertegenwoordigers van de betrokken interventies, van DGD en van de DBE werd bijgewoond. Voor elk
land werd een landennota opgesteld die alleen met de betrokken interventies en (voor de
landen in het Zuiden) de ambassade werd gedeeld.
De totale looptijd van de studie tot en met de afwerking van het eindverslag heeft ongeveer
acht maanden in beslag genomen (van eind februari tot midden oktober 2015). De
opstartperiode van de studie heeft verhoudingsgewijs veel tijd gevraagd omwille van het vrij
atypische onderwerp van de studie. Verhoudingsgewijs veel tijd werd besteed aan een
bespreking van de basisconcepten en benadering van de studie, onder meer via de uitwerking
van een verklarende nota. De studie van de basisdocumenten vond vooral plaats in de periode
maart – mei, met een piloot-veldbezoek naar Rwanda in april-mei en bezoeken naar Benin en
DRC in mei-juni. De projecten in België werden vooral in juni en juli geanalyseerd.
De redactie van het draft syntheserapport vond voornamelijk in juli en augustus plaats,
waarna het draft eindrapport eind september in het begeleidingscomité werd besproken. Op
cruciale scharniermomenten in het proces werden vergaderingen gehouden met een
begeleidingscomité: bij de opstart van de studie, na het eerste veldbezoek en na de afwerking
van het draft synthese-verslag.
5. Analyse van de gegevens
De studie van documenten, FDG en eerste discussies met de betrokken actoren hebben de
onderzoekers toegelaten om gaandeweg de focus van hun onderzoek bij te stellen en goed
voorbereid de veldbezoeken aan te vatten die nieuwe inzichten aanbrachten die continu
binnen het team werden gedeeld.
De analyse in striktere zin gebeurde zowel op een globaal/synthetisch niveau als per
interventie. Daarbij werd gebruik gemaakt van het analysekader dat aggregatie van de
bevindingen mogelijk maakt. De verschillende componenten (9) en de 62 items van het
studiekader werden gescoord op de relevante DAC criteria. Voor elke component (en elk item)
werd een score gegeven die kon variëren van 1 tot 5, waarbij de waarde 1 werd toegekend
voor een slecht presteren en een score 5 voor een goed presteren. Voor de eerste component
47
(De onderliggende analyse) werd zo – bijvoorbeeld - een score 1 gegeven als zulke analyse
niet werd uitgevoerd/niet werd geschreven, terwijl een score 5 werd gegeven indien deze
analyse goed en volledig was en de doelen van de interventie ondersteunde. Een score 3
betekende dan dat de analyse goed was ontwikkeld, maar onvolledig (bijvoorbeeld geen
analyse van de genderrelaties). In sommige gevallen (de gearceerde cellen) werd geen score
toegekend omdat er geen (of slechts een erg indirecte) relatie bestond tussen de component
en het evaluatiecriterium.
Om de subjectiviteit te beperken, werd (met uitzondering van 5 interventies in België)
gescoord door (minstens) twee onderzoekers op basis van een rooster waarin voor elke
component en item de score van 1 tot 5 werd gedefinieerd. Bij eventuele verschillen tussen de
door de experten toegekende scores, werd via discussie naar overeenstemming gezocht
(waarbij de argumentatie werd opgenomen in de fiche voor die interventie. De score van de 9
componenten gebeurde op twee manieren: vooreerst gaven de onderzoekers een score op
basis van de omschrijving in het rooster, ongeacht de specifieke scores van de items die
onderdeel uitmaken van de component; ten tweede werd een (ongewogen) gemiddelde
berekend op basis van de scores van de items met betrekking tot die specifieke component.
Overeenkomstig werden dus twee indexen bekomen op component niveau. Bij de verdere
analysestappen werd vooral met de eerste index gewerkt.
Enige voorzichtigheid is geboden bij de interpretatie van scores: deze kunnen niet worden
geïnterpreteerd als absolute waardes en kunnen alleen gebruikt worden voor interne
vergelijkingsdoeleinden. De scoreaanpak maakt het dus mogelijk om snel een overzicht te
krijgen van de relatieve evalueerbaarheid van elke interventie en om de 40 interventies
onderling te vergelijken. De scores kunnen echter geen uitspraak doen over de evalueerbaarheid in absolute termen.
Op basis van de scores voor 40 verschillende interventies, zijn indexen berekend voor elk van
de items en componenten, voor elk van de vijf DAC criteria (indien van toepassing). Hoewel
de 40 interventies vaak kon worden gescoord op alle items, werden een aantal 'niet van
toepassing' scores toegekend. Dit was onder andere het geval voor component 1.4 “De
consistentie en adaptatie van de interventielogica en veranderingstheorie” die alleen werd
gescoord in geval er in de interventie effectief veranderingen hadden plaatsgevonden.
Eveneens werd het studiekader lichtjes aangepast omdat bleek dat rond bepaalde punten
onvoldoende betrouwbare informatie kon verzameld worden. Deze punten werden dan uit het
kader verwijderd en niet meegenomen in de uiteindelijke analyse.
De resultaten van de analyses van de 40 interventies werden samengebracht in een
gegevensbestand om statistische analyse en verwerking mogelijk te maken (zie bijlage 7 voor
meer details).
Bijlage: Enkele basisgegevens m.b.t. de “Studie van de praktische evalueerbaarheid
van ge-(co)financierde interventies van de Belgische Samenwerking”
1. Doel, aard en omvang van de studie
Het gaat om een studie, niet om een evaluatie. De eerste twee fasen van de studie werden
reeds uitgevoerd door de Dienst Bijzondere Evaluatie en concentreerden zich voornamelijk op
de “theoretische evalueerbaarheid”. De derde fase, waarvan de uitvoering nu is gestart, richt
zich voornamelijk op de “praktische evalueerbaarheid”10.
Het voornaamste doel van de studie is om bij te dragen aan een betere evalueerbaarheid
van alle acties van de Belgische samenwerking. Als zodanig ligt, bij de uitvoering van de
studie, sterk de nadruk op het toekomstig gebruik van de resultaten. Dit wordt onder
punten 3 en 4 nader uitgewerkt.
De studie betreft in totaal 40 interventies, die in vier landen worden uitgevoerd: België,
Benin, Democratische Republiek Congo (DRC) en Rwanda (10 interventies per land). Naast
praktische overwegingen, werden bij de samenstelling van de steekproef vooral het
interventiekanaal (bilaterale samenwerking, indirecte samenwerking via NGA’s, samenwerking
10
Theoretische en praktische evalueerbaarheid worden in punt 2 nader toegelicht.
48
via universiteiten, APEFE/VVOB en BIO, …) en de interventiesector als parameters voor de
selectie gebruikt. Grotere interventie-kanalen zijn ondervertegenwoordigd in de steekproef en
kleinere oververtegenwoordigd.
De resultaten van de analyses op interventieniveau zullen confidentieel worden
behandeld en enkel worden gedeeld en besproken met de rechtstreeks bij de interventie
betrokken actoren. Op het boven-interventie niveau zullen de resultaten van de verschillende
interventies worden samengebracht en op anonieme wijze geanalyseerd.
2. Theoretische en praktische evalueerbaarheid: een afbakening
De OESO DAC definitie van evalueerbaarheid wordt het meest gebruikt: Evalueerbaarheid is
de mate waarin een activiteit of project kan worden geëvalueerd op een
betrouwbare en geloofwaardige wijze (Evaluability is the extent to which an activity or
project can be evaluated in a reliable and credible fashion). Andere definities voegen evenwel
aan de DAC definitie een belangrijk element toe door ook naar de praktijk te kijken en te
stellen dat het bepalen van de evalueerbaarheid moet toelaten te bepalen of een evaluatie
verantwoord en uitvoerbaar is, en nuttige informatie kan opleveren. Dit impliceert dat bij de
analyse van de evalueerbaarheid wordt nagegaan in hoeverre een bijdrage tot de
verbetering van het beheer en van de resultaten van de actie kan worden geleverd.
Beide definities zijn gekoppeld aan het onderscheid tussen “theoretische evalueerbaarheid” en
“praktische
evalueerbaarheid”.
De
theoretische
evalueerbaarheid
betreft
de
evalueerbaarheid ‘in principe’, zoals die vooral uit het projectontwerp kan worden
afgeleid, zonder te kijken naar de eigenlijke praktijk. De praktische evalueerbaarheid wil
daarentegen nagaan of - bijvoorbeeld – gegevens in verband met de voortgang van de actie
effectief zijn verzameld en of M&E systemen daadwerkelijk worden gebruikt; is dit het
geval dan is de kans immers groot dat wordt bijgedragen tot verbetering van beheer en
resultaten van de actie. Bij de analyse van de praktische evalueerbaarheid wordt op die wijze
snel de brug gemaakt naar de bepaling van het (praktische) nut van een evaluatie.
Vanuit het bovenstaande willen wij evalueerbaarheid vooral als een continuüm benaderen:
hoogstwaarschijnlijk is geen enkele interventie perfect in al haar facetten evalueerbaar, maar
evenmin zullen er interventies zijn die helemaal niet geëvalueerd kunnen worden.
Verder kan een evaluatie vele aspecten van de interventie betreffen (de vijf klassieke DAC
criteria11, maar ook andere criteria), maar hoeft ze die niet steeds allemaal mee te nemen.
Daarbij is het evident dat de evalueerbaarheid van elk criterium tot op zekere hoogte andere
eisen stelt; zo wordt bijvoorbeeld bij projecten programma-evaluaties dikwijls van een
evaluatie van impact afgezien, omdat die erg veeleisend is. Daarenboven spelen de voor een
evaluatie beschikbare middelen een belangrijke rol in het bepalen van de mate van
evalueerbaarheid: hoe meer middelen beschikbaar, hoe beter een interventie kan geëvalueerd
worden.
Tenslotte is evalueerbaarheid ook verbonden met het doel van de evaluatie. Evaluaties
kunnen immers verschillende doelen (rekenschap afleggen, lessen trekken, ondersteunen
toekomstig beleid) nastreven, maar die doelen hoeven niet steeds even prominent in elke
evaluatie aanwezig te zijn. Staat bijvoorbeeld ‘lessen leren’ centraal, dan stelt dit andere eisen
naar evalueerbaarheid dan wanneer ‘verantwoording afleggen’ de hoofdbekommernis vormt.
En als we het nog breder willen bekijken, heeft evalueerbaarheid ook met het
evaluatiebeleid te maken en dient, bijvoorbeeld, een afweging te worden gemaakt tussen
“meer” of “beter” evalueren. Men kan er bijvoorbeeld voor kiezen om niet alle acties te
evalueren, maar juist de (beperkte) middelen gerichter te gebruiken (bijvoorbeeld voor de
evaluatie van innovatieve acties).
11
Relevantie, effectiviteit, efficiëntie, impact en duurzaamheid.
49
3. Focus en aanpak van deze studie
Voor deze studie is vooral de praktische evalueerbaarheid van belang. Het is de
bedoeling deze na te gaan op het niveau van 40 interventies waarvan de uitvoering veelal
reeds over ‘halfweg’ is (of die een vervolgfase zijn van een eerdere interventie). Het
studiekader onderscheidt drie onderdelen:
•
•
•
de analyse van het interventie-ontwerp, inclusief de onderliggende veranderingstheorie
(de theoretische evalueerbaarheid);
de analyse van de beschikbare gegevens en hun kwaliteit, en van de onderliggende
systemen (inclusief gebruik van menselijke en financiële middelen) die de gegevens
genereren; deze analyse vormt het belangrijkste onderdeel;
de analyse van contextuele factoren; deze factoren worden vrij ruim bekeken en
hebben betrekking op alle elementen buiten de specifieke interventie-context (dus niet
alleen de sociale, economische, culturele, politieke, veiligheids-, … context, maar
bijvoorbeeld ook de cultuur van de bij de uitvoering van de interventie betrokken
groepen en organisaties, de invloed van financierende instellingen, …).
Belangrijk om te vermelden is dat het resultaat van de analyse zal vertaald worden in
praktische (maar voor de betrokken organisaties uiteraard vrijblijvende) suggesties voor het
ontwerp van een toekomstige evaluatie en voor de aanpassing van het M&E systeem
van de interventie, en dat bovendien aan de betrokken organisaties zal gevraagd worden in
welke mate zij dit advies nuttig vinden naar de toekomst toe. Op die wijze hoopt het
studieteam dat deze stap de toets gaat vormen van de daadwerkelijke waarde van de analyse
van de praktische evalueerbaarheid. Verder zal deze bijkomende oefening de bruikbaarheid
van de studie verhogen, omdat de verkregen feedback zal toelaten om de eigenlijke analyse
van de praktische evalueerbaarheid aan te scherpen. Bovendien hopen we dat deze extra stap
de betrokken organisaties extra zal motiveren om hun volle medewerking aan de studie te
verlenen.
4. Verdere uitwerking van de bepaling van de evalueerbaarheid
Aansluitend op de hierboven uitgewerkte punten zijn volgende punten erg belangrijk:
•
Er bestaat geen verband tussen de mate van evalueerbaarheid van een
interventie en de (ontwikkelings-)waarde van die interventie. Met andere
woorden: het is perfect mogelijk dat erg waardevolle interventies moeilijk evalueerbaar
zijn. Evalueerbaarheid heeft immers veel te maken met de aard en de context van de
interventie. Zo zijn bijvoorbeeld de uitdagingen om interventies te evalueren die de
empowerment van vrouwen nastreven doorgaans groter dan bij interventies die zich
met drinkwatervoorziening bezig houden. Dit kan onder andere worden verklaard
vanuit het gegeven dat “empowerment” iets helemaal anders kan betekenen voor de
verschillende betrokken actoren, dat het om een iteratief proces gaat met verschillende
dimensies en fasen, … terwijl het relatief eenvoudig is om het eens te raken over de
betekenis van “drinkwatervoorziening”.
•
Voortbouwend op het vorige punt bestaat het gevaar dat het (kost wat kost) willen
evalueerbaar maken van interventies ingaat tegen de essentie van ontwikkeling zoals
die via bepaalde interventies wordt nagestreefd. Het legitieme streven naar grotere
evalueerbaarheid mag dus niet ten koste gaan van, bijvoorbeeld, het innovatieve en
open-ended karakter van interventies die nieuwe benaderingen proberen uit te werken.
Evalueerbaarheid verhogen is een middel, geen doel.
50
•
Waarin ligt dan het belang van de evalueerbaarheid; hoe kan grotere
evalueerbaarheid bijdragen tot een grotere kwaliteit van ontwikkelingsacties?
Er kunnen verschillende motieven spelen in dit verband:
o Betere selectie van te evalueren interventies. Het is onmogelijk en
inefficiënt om alle interventies te (willen) evalueren. Selectie is dus nodig en die
gebeurt best op basis van een goede analyse waarvan “evalueerbaarheid” een
belangrijk onderdeel kan vormen.
o Bijsturing van lopende interventies. Er ligt een belangrijke meerwaarde in
het kunnen aanduiden (ten behoeve van de betrokken actoren) van de sterke
en zwakke punten m.b.t. de evalueerbaarheid van een betrokken interventie
(bv. mate waarin veranderingstheorie logisch is opgebouwd, mate waarin
relevante baseline informatie werd verzameld, mate waarin het lokaal M&E
kader/systeem wordt geïmplementeerd; mate waarin de lokale/nationale
context openstaat voor onafhankelijke evaluatie; etc.). Dit biedt de betrokkenen
de mogelijkheid om een aantal zaken bij te sturen tijdens de uitvoering van de
interventie.
o Beter beheer en evaluatiebeleid. Een gedetailleerd overzicht van de
verschillende dimensies van evalueerbaarheid laat ook toe om meer gerichte
keuzes te maken voor het versterken van specifieke elementen van beheer op
organisatievlak en kan een belangrijke input zijn in het uitwerken van een
evaluatiebeleid/plan binnen een organisatie.
o Goede inbedding van leren en verantwoording afleggen. De bij een
interventie direct en indirect betrokken actoren (organisaties verantwoordelijk
voor de uitvoering, doelgroepen, donoren, het brede publiek) kunnen baat
vinden bij een vergroten van de evalueerbaarheid omdat op die wijze een meer
solide basis wordt gelegd voor aan de evaluatie gekoppelde processen van leren
en verantwoording afleggen.
•
Verder lijken ook volgende punten van belang:
o Het is belangrijk om goed het onderscheid tussen “evalueerbaarheid” en
“wenselijkheid om te evalueren” te maken; dit laatste zal onder meer
bepaald worden vanuit de aard van de actie en de bestaande beleidsintenties.
Het is bv. mogelijk dat het niet wenselijk is om interventies die makkelijk
evalueerbaar zijn (bijvoorbeeld interventies die een roll-out zijn van reeds
veelvuldig geteste en geëvalueerde interventies) te blijven evalueren tot op het
niveau van de impact, terwijl het vanuit een ‘lerende’ intentie wel wenselijk kan
zijn om meer energie te besteden aan het evalueren van innovatieve
interventies die veelal moeilijker evalueerbaar zijn.
o Met name de financierende overheden moeten vermijden om niet of moeilijk
te evalueren interventies niet of minder te gaan financieren (zie hoger,
mate van evalueerbaarheid zegt in wezen niets over de ontwikkelingswaarde
van een interventie).
o De uitgaven die nodig zijn om een interventie grotendeels evalueerbaar te
maken, kunnen erg hoog oplopen; het komt er daarom op aan een goede
trade-off te vinden tussen die kost en de evalueerbaarheid (eveneens rekening
houdende met de wenselijkheid van de evaluatie).
•
Tenslotte zal het studieteam erg behoedzaam zijn met het formuleren van suggesties
en aanbevelingen op interventieniveau. Evenwel denken we dat er op het boveninterventieniveau patronen zullen gevonden worden die zullen toelaten om in globale
zin een aantal factoren aan te duiden die de evalueerbaarheid positief en negatief
beïnvloeden. Het kan daarbij gaan om elementen die reeds in het studiekader zijn
opgenomen en andere factoren die tijdens de uitvoering van de studie naar voor zullen
komen.
51
X
X
1.1.1
Les groupes cibles sont clairement délimités et décrits
X
X
1.1.2
Le bien fondé de l’intervention et la situation
(problématique) de l’intervention sont clairement décrits
X
1.1.3
1.1.4
Le rôle du (des) groupe(s) cible(s) est clairement décrit
Le rôle des acteurs concernés majeurs (en dehors du groupe
cible) est clairement décrit
L’analyse genre fait partie intégrante de l’analyse sousjacente
Le lien entre l’analyse sous-jacente et les objectifs de
l’intervention est clairement décrit
Le lien entre le bien fondé de l’intervention et la politique
sectorielle du pays partenaire est clairement décrit
La logique d’intervention et la théorie de changement
X
X
X
X
X
X
1.1.7
1.2
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
1.2.8
1.3
1.3.1
1.3.2
1.3.3
Durabilité
L’analyse sous-jacente
1.1.6
X
X
X
Analyse du plan de projet
1.1
1.1.5
Impact
1.
Efficience
Pertinenc
e
Efficacité
Annexe 3: Cadre d’étude
Il existe une distinction claire et correcte entre les outputs,
outcomes (effets) et impact
La théorie de changement à partir des inputs jusqu’aux
outcomes et l’impact final est clairement développée
La théorie de changement est logique et réaliste
Des maillons critiques et cruciaux de la chaine sont identifiés
et peuvent être testés
La théorie de changement contient des mesures concrètes
(au niveau des inputs, activités et outputs) qui doivent
assurer la durabilité des bénéfices de l’intervention
Les risques internes sont clairement signalés et
analysés/appréciés
Les hypothèses externes sont clairement signalées et
analysées/appréciées
L’allocation des moyens prévus (investissements, frais de
fonctionnement, frais de personnel, autres inputs des parties
prenantes) aux outputs est claire
Le système S&E proposé
Les résultats majeurs envisagés de l’intervention sont bien
opérationnalisés
Là où cela est nécessaire/pertinent, les indicateurs sont
spécifiés selon le sexe ou selon un autre paramètre pertinent
Le système S&E proposé contient une opérationnalisation
consistante de la logique d’intervention et la théorie de
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
52
Pertinenc
e
Efficacité
Efficience
Impact
Durabilité
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
changement sous-jacentes
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.4
1.4.1
1.4.2
1.4.3
2.
2.1
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
L’approche de suivi et d’évaluation de la réalisation des
résultats de l’intervention et de leur durabilité est clairement
décrite
L’approche de suivi des hypothèses est clairement décrite
L’approche de suivi des risques internes est clairement
décrite
Les ressources personnelles et financières du système S&E
sont clairement décrites
Le système MIS (système d’information de gestion) permet
une allocation des dépenses aux outputs et composantes
spécifiques de l’intervention
La façon selon laquelle le système S&E s’articule par rapport
aux systèmes de S&E national/local est bien décrite
Consistance et adaptation de la logique d’intervention et la
théorie de changement
Des changements éventuels dans la logique d’intervention et
la théorie de changement sous-jacente sont bien indiqués et
argumentés
L’information est disponible sur la vision et les opinions des
parties concernées les plus importantes quant aux
changements éventuels dans la logique d’intervention et la
théorie de changement
Des changements éventuels dans la logique d’intervention et
la théorie de changement sont intégrés de façon adéquate
dans le système S&E
La pratique de mise en oeuvre de l’intervention, de
gestion de l’intervention et la prise en compte du
contexte
Information de base quant à la mise en oeuvre de
l’intervention
Les documents de base (attendus) sont disponibles
L’information de base (en ligne avec la logique
d’intervention) concernant le groupe cible est disponible
L’information de base (en ligne avec la logique
d’intervention) concernant le counterfactual est disponible
L’information de base est disponible quant aux indicateurs
pertinents est spécifiée selon le genre et/ou autres
paramètres pertinents
L’information (attendue) est disponible quant au progrès
vers la réalisation des objectifs de l’intervention
L’information quant à la participation du groupe cible initial
est disponible
L’information quant à la collecte de données liées aux
indicateurs est disponible
Le plan/la proposition de collecte de données permet en
principe une collecte fiable des données en relation avec les
indicateurs
L’information est disponible quant au suivi des risques
internes et les conséquences éventuelles pour la logique
d’intervention et la mise en oeuvre du projet sont indiquées
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
(x)
X
X
X
X
(x)
X
X
X
X
X
X
(X)
(X)
53
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.4
bis
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
3.
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
Efficience
Impact
Durabilité
L’information est disponible quant au suivi des hypothèses et
les conséquences éventuelles pour la logique d’intervention
et la mise en oeuvre du projet sont indiquées
Les dépenses de l’intervention sont bien enregistrées/
documentées et peuvent connectées aux outputs
Le système S&E (dans la pratique)
La vision sur et le rôle du suivi et des évaluations (S&E et
évaluations indépendantes) sont claires
Suffisamment de temps, ressources et personnel ont été
prévus pour un fonctionnement adéquat du système S&E
Les responsabilités et procédures quant à la collecte et
l’analyse des données S&E sont claires
Les responsabilités et procédures quant à la prise de
décision sur base de l’analyse des données S&E sont claires
Les parties concernées les plus importantes sont d’accord
avec le système S&E proposé (y inclus leur rôle dans ce
système)
Le personnel en charge du S&E est compétent et
indépendant
Le système S&E de l’intervention est articulé avec le
système S&E national/local
Il existe une motivation interne pour la gestion stratégique
et l’apprentissage
Les résultats du S&E sont effectivement utilisés pour
l’apprentissage
Les résultats du S&E sont effectivement utilisés pour rendre
compte (pour assurer la redevabilité)
Des évaluations et/ou études ont été faites qui sont de
bonne qualité et ont fourni des informations utiles (relative
to what could have been expected)
La qualité du système S&E est régulièrement revue et le
système est éventuellement adapté
Le contexte de l’évaluation (évaluation indépendante)
Pertinenc
e
Efficacité
2.1.10
X
X
(X)
(X)
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Attitude des acteurs clés
Les utilisateurs les plus importants de l’évaluation ainsi que
leurs attentes/intérêts par rapport à l’évaluation ont été
clairement définis.
Les acteurs clés sont partie requérante d’une évaluation (ou
au moins intéressées)
Les attentes des acteurs clés par rapport à l’évaluation
(processus et résultats) sont mutuellement compatibles
Les attentes des acteurs clés par rapport à l’évaluation sont
réalistes (compte tenu des moyens disponibles)
Les utilisateurs les plus importants sont associés/seront
associés au processus d’évaluation
Les parties concernées les plus importantes (y inclus les
groupes cibles) sont associées/seront associées au
processus d’évaluation
Les relations parmi les acteurs clés sont “saines”
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Il est possible de contacter les acteurs clés sans que le
risque existe qu’ils s’influencent mutuellement
X
X
X
X
X
54
3.3
Durabilité
3.2.3
Le contexte socio-culturel au niveau des groupes cibles rend
possible une collecte correcte de l’information
L’expertise locale avec le profil requis est disponible pour
l’évaluation
Eléments pratiques
Impact
3.2.2
Efficience
3.2
3.2.1
Tous les acteurs clés ont une attitude positive par rapport à
l’évaluation indépendante
Le contexte plus large
Le contexte institutionnel et politique plus large est positif
par rapport à des évaluations indépendante
Pertinenc
e
Efficacité
3.1.9
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
55
Annexe 4: Liste des 40 interventions
Land/
Pays
Titel/entitulé
1
België
2
België
3
België
4
België
Programme ''Trade for Development Centre'' 20142017
Programmes pluri-annuels 2014-2016 : Distance and
blended learning
Olie drijft boven. Leerlingen tonen scholen de weg naar
duurzaamheid
NGO Geneeskunde voor de Derde Wereld - programma
2014-2016
5
België
6
België
7
8
9
Uitvoerder/
Responsable de la
mise en oeuvre
BTC/CTB
ITG
Bos+
ONG Médecine pour
le Tiers Monde
Autre Terre - prog. 2014-2016: Volet Nord - Education
au développement
ONG OXFAM WERELDWINKELS - programme 20142016 - België
ONG Autre Terre
België
ITECO Programme 2014-2016
ONG ITECO
België
NGO Rode Kruis-Vlaanderen Internationaal programma 2014-2016 / België
België
UNICEF Belgique Programme 2014-2016/ Volet Nord
Belgique
ONG Rode KruisVlaanderen
Internationaal
ONG UNICEF Belgique
10 België
Noordactiviteiten - sensibilisering - Reisbeurzen
studenten (REI)
Projet d'appui au renforcement des zones et
départements sanitaires du Mono-Couffo et de
l'Atacora-Donga - PARZS (opvolging in PASS)
Facilité d'appui aux investissements agricoles dans les
départements du Mono, du Couffo, de l'Atacora et de la
Donga – FAIA
Fonds d'études et de consultances
ONG Oxfam
Wereldwinkels
VLIR-UOS
1
Benin
2
Benin
3
Benin
4
Benin
5
Benin
6
Benin
7
Benin
8
Benin
Syndicaal Programma 2012-2014 IFSI/ISVI Benin
ISVI
9
Benin
Programma 2014-2016 (Benin)
Vredeseilanden
PACCTE MONO en PACCTE CORRIDOR
Plan België
10 Benin
BTC/CTB
BTC/CTB
BTC/CTB
Le renforcement du système de santé périphérique au
Memisa
Bénin dans le contexte de la lutte contre la pauvreté
(Programme 2014-2016)
Programme d'amélioration du revenu et de la sécurité
Iles de Paix
alimentaire des familles de Cobly, Matéri et Boukoumbé
(PARSA-CMB) (Programme triennal 2014-2016)
Echange et diffusion de technologies durablement
CODEART
appropriables pour une Sud plus entrepreneurial et
moins dépendant (programme 2011-2014)
Renforcer l’économie locale à travers l’aménagement du VVSG/Roeselare
marché (Dogbo) (VVSG 2014-2016)
56
Land/
Pays
Titel/entitulé
1
Congo
2
Congo
3
Congo
Projet d'appui institutionnel à la Direction d'Etudes et
Planification du Ministère de la Santé en République
Démocratique du Congo : Phase de consolidation des
acquis (DEP III)
Programme de soutien au secteur de l¿Enseignement
BTC/CTB
Technique et Formation Professionnelle (ETFP) dans le
bassin d'emploi Mutshatsha - Lubudi - Kolwezi - Likasi Lubumbashi - Sakania (Pro-EFTP-Katanga). (EDUKAT)
ONG Artsen Zonder Vakantie/Médecins sans vacances - ONG Médecins Sans
Programme 2014-2016 /RD Congo
Vacances
4
Congo
5
Congo
6
Congo
Le Monde selon les Femmes M/F Programme 2014ONG Le Monde Selon
2016 / République Démocratique du Congo - Objectif 1 lesFfemmes
7
Congo
APEFE - Programme 2014-2016 / République
Démocratique du Congo - Objectif 1 (Education 1)
APEFE
8
Congo
Syndicat IEOI vakbond IIAV
9
Congo
IIAV Syndicaat -Sociale dialoog voor waardig werk Institut d'Education Ouvrière Internationale programme 2012-2014
Advance Banque RDC
ONG RCN - 2014-2016 - RDC - Projet ''Pour une
meilleure sécurité juridique en République
Démocratique du Congo''
Renforcement des capacités d'action politique des
Organisations de Producteurs Agricoles et de leurs
fédérations nationale et provinciales en RD Congo
Uitvoerder/
Responsable de la
mise en oeuvre
BTC/CTB
ONG RCN Justice &
Démocratie
ONG TRIAS
BIO
10 Congo
1
2
Projet Interuniversitaire Cible (PIC) 2011 Consolidation CIUF
de la première école de criminologie en RDC et création
de partenariats dans la région des Grands Lacs
Rwanda Support to the SPAT II: Market oriented advisory
BTC/CTB
services and quality seeds
Rwanda Projet d'Appui à la Reforestation dans les provinces de
BTC/CTB
l'Est et du Nord (PAREF - 2è phase)
3
Rwanda Appui Institutionnel au Ministère de la Santé - Phase IV
BTC/CTB
4
Rwanda Support to the Public Sector Capacity Building
Secretariat (PSCBS)- Support to Strategic Approach to
Capacity Building
Rwanda ARES-CCD COOPERATION UNIVERSITAIRE
INSTITUTIONNELLE 2014 Rwanda
Rwanda VVOB Education for development 2014-2016 Rwanda
Rwanda Projet d'appui a la sécurité alimentaire au Bugesera,
PASAB II
BTC/CTB
5
6
7
8
Rwanda NGO Protos - Programma 2014-2016 - RWANDA
9
Rwanda ONG Lumière pour le Monde - 2014-2015 - Rwanda Projet ''Rendre la vue au Rwanda : prévention et
traitements des problèmes de vues''
10 Rwanda BIO - Expertise Fund - Rwanda Mountain Tea - Rwanda
CIUF
VVOB
ONG Caritas
Belgique Secours
International
ONG PROTOS
ONG Lumière pour
le Monde
BIO
57
Annexe 5: Liste des documents consultés les plus
importants
Documents globaux
•
•
•
•
•
•
•
•
•
•
•
•
Dahler-Larsen, P., Evaluation as a situational or a universal good? Why evaluability
assessment for evaluation systems is a good idea, what it might look like in practice, and
why it is not fashionable, Scandinavian Journal of Public Administration, 16 (3); 29-46.
Davies, R., Payne, L., Evaluability Assessments: Reflections on a review of the literature,
Sage Journals, Evaluation, April 2015 21(2): 216-231.
Davies, R., Planning Evaluability Assessments, A synthesis of the literature with
recommendations, Report of a Study commissioned by the Department for International
Development, DFED Working Paper 40, October 2013, 48 p.
DG Ontwikkelingssamenwerking en Humanitaire Hulp, Strategienota
Ontwikkelingsresultaten, 17 p.
D’Ostie-Racine L., Dagenais C., Ridde V., An evaluability assessment of a West Africa
based Non-Governmental Organisation’s (NGO) progressive evaluation strategy,
Evaluation and Program Planning 36 (2013), p. 71-79.
Juvenile Justice Evaluation Centre, Justic Research and Statistics Association, Office of
Juvenile Justice and Delinquency Prevention, Evaluability Assessment: Examining the
Readiness of a Program for Evaluation, Program Evaluation Briefing Series # 6, May 2003,
15 p.
OECD/DAC (2002). Glossary of Key Terms in Evaluation and Results Based Management.
Paris: OECD/DAC.
Peersman G., Guijt I., Pasanen T., Evaluability Assessment for Impact Evaluation,
Guidance, checklists and decision support, Methods Lab, Publication, ODI, August 2015.
Pritchett, L., Samji, S., Hammer, j., It’s All About MeE: Using Structured Experiental
Learning (“e”) to Crawl the Desing Space, Center for Globao Development, Working Paper
322, april 2013, 52 p.
Rossi P.H., Lipsey M.W. and H.E. Freeman (2004). Evaluation: a systematic approach, 7th
edition, Thousand Oaks: Sage, Bamberger M., J. Rugh, M. Church and L. Fort (2004).
“Shoestring evaluation: designing impact evaluations under budget, time and data
constraints”, American Journal of Evaluation 25 (1): 5-37.
Trevisan, M.S., Evaluability Assessment from 1986 to 2006, American Journal of
Evaluation, Vol. 28 No. 3, September 2007, p. 290-303.
UN Women, Guidance Note on Coarrying Out an Evaluability Assessment, Evaluation
Guindance Note Series, December 2009, No. 4, 5 p.
Documents liés aux interventions
Pour chacune des interventions retenues (voir annexe 4) un paquet de documents de base a
été consulté, incluants les documents suivants (pour autant que ceux-ci étaient disponibles):
• le plan d’intervention;
• le baseline
• les rapports de mise en oeuvre
• les rapports d’évaluation
• documents liés au S&E (plan et pratique)
58
Annexe 6: Liste des personnes contactées les plus
importantes
Interventions en Belgique
BOS+
• Thibaut Joris, Projectmedewerker BOS+
Autre Terre
• Anne-Sophie Reynders, responsable du S&E
Oxfam Wereldwinkels
• Arne Schollaert, dienst politiek beleid, Zuid- en jongerenwerking
RK-Vlaanderen Internationaal
• Linde Mues, PMER verantwoordelijke
• Bie Van Giel, medewerker AIS
• Laura De Grève, medewerker IHR
VLIR-UOS
• Koen De Koster, Programme Officer South
• Stijn De Roover, Programme Officer North
Unicef Belgique
• Pascale Recht
ITG/IMT
• Jan Coenen
• Maria Zolfo
Trade Development Centre (BTC)
• Samuel Poos
• Steven De Craen
M3M
•
Géraldine Malaise
ITECO
• Vincent Stevaux
Interventions au Bénin
Ambassade de Belgique
• Azandjeme Annick, CP
• Heuts Marie, Attaché CI
• Pont Jean-Louis, Chef de Coopération
59
CTB
•
Francoys Michel, Représentant
CSA Bénin
• Yavohedje Robert, Coordonnateur Principal du projet
• Choupa Wilfird, Coordonnateur projet
• Amoussou Anselme
ESAM
• Kpade Firmine Seth, Experte en Droits de l’Enfant
• Adanhode Sylvie-Flore, Chargé de Programme
• N’ledji Gbedji Damine, Coordonnateur PACCTE Corridor
VECO
•
•
•
•
•
•
Azagnandji Herman, CP VECOWA Bénin
Etekpo Fautin, Président UNIRIZ-C
Adippeto Thierry, Coordonnateur UNIRIZ-C
Mouansou Emile, Secritarie Général CCR-B
Batcho Léontine, Présidente URFER-C
Iwikotan Mathuri, Préisdent CCR-B
Plan Bénin
• Glele Dobossou, Directrice Adjointe des Programmes
• Abibou Mamadou
• François Godonou
• Sylvain Ogoudele
• Vincentia Glele
Roeselare/Mairie de Dogbo
• Acakpo Codjo, VVSG Association des oeuvres flamandes
• N’Bouke S.T. Borgia, SG, Coordonnateur Coopération décentralisée
• Sodjinou, Chef service Mobilisation des ressources
Iles de Paix/PARSA
• Soulemane Mamadou, CP
• Jean Christophe Menard, Directeur Résident
• Pascal Gbai, responsable programme transversal
Memisia/AMCES
• Pascal Dossou Togbe, Directeur BEC/AMCES
• Camille D. Houessou, Comptable BEC/AMCES
• Mama Djibril Issa, Coordonnateur URAMA/AMCES
CODEART/LAMS
• Agohoui Valérie, animateur
• Agbohoui Eusèbe, animateur
• Dahou Jocelyn, RAF/LAMS
• Abbé Gatien Amouzou, responsable projet
FAIA/CTB
• Tossavi Joseph, UFAI/CONAFIL
• Wilma Baas, UAC/FAIA.MAEP
• Edwin, Chargé de programmes, CTB
• CARDER Mono Couffo (plusieurs personnes)
• Unité Régionale des producteurs du Mono et du Couffo (plusieurs personnes)
PARDZS/CTB
60
•
•
•
•
Dr. René Pare, CTR
Raphaël Maldague, AT Junior
Kashala Ilunga Jean-Pierre, CTI
Dr. Goundote S. Aimé, C/SPIRS DDS Mono Couffo
FEC/CTB
• Sybille, AT CTB, FEC
• Virgilie Worou, DAPP-MFASSNHPTA
Interventions en RDC
Ambassade de Belgique
• Annelies De Backer, Ministre-Conseiller, Coopération au Développement
• Koen Van Acoleyen, Attaché de Coopération au Développement
CTB
•
Bart Uytendaele
CSC/IEOI
• Josée Shimbi Umba, Vice-Présidente CSC
• Adolphe Nsombi Nzuzi, responsable bureau d’études cellule économique CSC
• Dieudonné Bonzele Sozinya, responsable formation CSC
• Jean Bedel Nundula Ndamb-Ya-Tshite, Vice Président CSC
• Pierre Emmanuel Monsengo N’Gankoy, Vice-Président CSC
• Marcel K., secrétaire de la fédération provinciale du Bas-Congo (centrales
professionnelles)
• Samy Ngatu Ntanini, secrétaire Provincial Professionnel du Bas-Congo
(interprofessionnel)
APEFE
• David Gaquere, coordinateur RDC
• Guylain Mbuku, Assistant Technique, Programme d’appui à l’insertion socioprofessionnelle des jeunes issus de l’ETFP, Matadi
• Richard Kasale, Assistant Technique, Programme d’appui à l’insertion socioprofessionnelle des jeunes issus de l’ETFP, Lubumbashi
TRIAS
• Albert Matanga Muntu, Directeur Pays a.i.
• Jean-Loïc Guièze, Directeur Pays adjoint a.i., Coordinateur “Synergies et
Complémentarités”
• Bruno Kalondji, chargé de programmes
• Thomas Yobila, Secrétaire Exécutif a.i., FOPAKO (Force Paysanne du Congo Central)
• Jean Pierre Mangovo, chargé de projet, FOPAKO
• Donation Malonda, vice-président, chargé du plaidoyer, FOPAKO
DEP
•
•
Alain Mboko Iyeti, Directeur ad intérim
Jean Bertin Epumba Epondo, Directeur Adjoint
MSV
•
•
•
•
•
•
Kash Karubara Marcellin, Représentant Régional Région des Grands Lacs
Dolores Nembunzu, Médecin Directeur, Hôpital Saint-Joseph, Kinshasa
Nestor Letumu, Directeur Financier, Hôpital Saint-Joseph, Kinshasa
Sr. Marie-Josée Mayinga, Directeur Administratif, Hôpital Saint-Joseph, Kinshasa
Sœur Solange, infirmière, centre Wote Pamoja, Lubumbashi,
Laurent Kabili, responsable atelier, centre Wote Pamoja, Lubumbashi
61
RCN
•
•
Gaëlle Vandeputte, Chef de mission RDC
Participants à l’atelier préparatoire des formations sur les mécanismes de protection
des libertés fondamentales
CONAFED/REFED
• Jeanne Nzuzi, Secrétaire Permanente, CONAFED
• Eugène Minga, Comptable, CONAFED
• Rodin Muvuyu, Chargé de programme, CONAFED
• Françoise Kat Kambol, ADIF/REFED Katanga
• Baudouin Nkwambi, ADIF/REFED Katanga
• Magy Mavula, REFED Kinshasa
• Sébastien Biandji, Chargé de programmes
Advans Banque RDC
• Yvonnick Peyraud, Administrateur Directeur Général Advvans Banque
ECOCRIM
• Kyungu Shimbi, gestionnaire local AREC-CC UNILU
• Nkuku Khonde, Coordinateur ARES CCD/UNILU
• Ildephonse Tshinyama Kadima, Directeur ECOCRIM
• Boäz Kaumba Kahosa, Coordinateur local du PIC2/ECOCRIM
• Norbert Lupitshi Wa-Numbi, Prof. Directeur Adjoint ECOCRIM
Edukat
• Patrick Fillion, Co-responsable international, UCAG, MEPSP
• Lorenzo Giacomin, fonctionnaire execution CTB
• Deogratias Rukeba, Program Officer Katanga
• Angela Epaye, AT insertion socio-professionnelle
• Léonie Muyombe Kaosha, Co-responsable National du projet Edukat
Interventions au Rwanda
Belgian Embassy
• Astrid de Laminne de Bex
CTB
•
Anne Pierre Mingelbier, Director of Program
VVOB
•
•
•
•
•
•
•
•
Jef Peeraer
Angélique Ekirabo
Leon Mugenzi
Christian Karasira
Alex Mukizwa Mahe
Alfred Otara (VVOB-URCE)
Alphonse Uworwabayeho (VVOB-URCE)
Genevieve Ayinkamiye
SACB/BTC-SCAB
• Anna-Maria Schreven
• Gratien Gasaba
• Richard Niwenshuti
• Judith Kayitesi
62
BTC-MiniSanté
• Vincent Tihon
• Dr Achour Ait Mohand
• Dr. Daniel Ngamije
• Bob Mugisha
• Dr. Vincent Tihon
• Nancy Misago
• Gervais Baziga
• Didier Nishimwe
BTC-SPAT II
• Raf Somers
• Sylvia Salama Gata
• Consolata Nakure
• Christian Nbazigarire
BTC-PAREF II
• Johan Nieuwenhuis
• Jean Damascene
• Gad Sibomana
• Jean-Claude Sebahire
• Claude Niyigena
• Jean Claude Nsengiyumva
• Jacques Peeters
PROTOS
• Philippe Daout
• Carinie Masumbuko
• Joseph Uwizeye
• Philbert Hakizimana
• Claver Hagumintwali
• Callixte Habyarimana
• Célestin Kanyamugenge
• Joseph Sibomana
• Chantal Umulisa
• François Uhagaze
• Védaste Mpagaritswenimana
• Jean Marie Abizeye
• Etienne Nzajyibwami
• Jean Damascene Ndahimana
• Marie Claire Providence Abizeye
• Callixte Twagirayezu
• Malachie Habanabashaka
• Liliose Umurerwa
Rwanda Moutain Tea (BIO)
• Jotham Mujyalibu
• Jean Damascene Gasarabwe
• Innocent Ndayishimiye
• Augustine Okea
• Japhet Kwizera
• Jotham Majyalibu
• Patrick Tuyisenge
Caritas:
• Félix Byamungu
• Prosper Sebagenzi
63
•
•
•
•
•
•
•
•
•
Light
•
•
•
•
•
•
•
•
•
Abbé Donatien Twizeyumuremyi
Abbé Anaclet Mwumvaneza
Louis Rwagaju
Eprhem Sebarundi
Berthilde Mukantwari
Aimable Gasinzingwa
Drocela Umupfasoni
Felix Habincuti
Tharcisse Mucunguyinka
for the World
Pierre-Claver Ndahayo
Jean Muhayimana
Patrick Shyaka
Jean Baptiste Karibuhunde
Dr. Piet Noe
Dr. Leon Kagabo Hakizimana
Dominique Nsabiyaremye
Anita Ahayo
Dr Mumena Legis
ARES
• Magnus Kirori
• Laetitia Nyinawamwiza
• Vivien Munyaburanga
FGD BTC
• Damien Jonckers
• Steven de Craen
• Laurence Janssens
• Joelle Pireaux
• Hugo Snar
• Mario Goethals
• Koen …
• Hertsen Juliette
FGD DGD
• Karel Cools
• Ivo Hooghe
• Hilde Herssens
• Sofie Dirkx
FGD niet-gouvernementele actoren
• Simon Hemptinne (ARES)
• Vincent Stevaux (Iteco)
• Stefania Zotto (Le Monde Selon les Femmes),
• Florence Liégeois (RCN Justice)
• Annemie Demedts (NGO Federatie)
• Jan Coenen (ITG)
BTC
•
Laurence Janssens, Chargée de Missions
Dienst Bijzondere Evaluatie
• Dominique de Crombrugghe, Bijzonder Evaluator
• Ivo Hooghe
• Jacqueline Liènard
64
Bijlage 7: Toelichtingen bij de statistische analyses
en analyse van de sterkste en zwakste items
1. Algemeen Overzicht
1.1 Indexen voor de verschillende onderdelen van het studiekader
Met de data van de volledige steekproef werden per DAC-criterium voor alle componenten en
elk item indexen berekend op basis van het aantal keer een bepaalde score gegeven werd.
Naast een berekening van de indexen van de vijf DAC-criteria werd er ook een globale
‘evaluability’-index berekend, hier verder eenvoudig “evalueerbaarheidsindex” genoemd, voor
elke component en elk item. Deze evalueerbaarheidsindex is volgens hetzelfde principe
berekend als de indexen voor de DAC-criteria en houdt rekening met alle gescoorde
componenten of items voor de verschillende DAC-criteria. De indexen op component-niveau
werden berekend als het gemiddelde van de indexen van de inderliggende componenten.
Aangezien we in het studiekader met ordinale schalen werken is het echter ook belangrijk
belangrijk om rekening te houden met de verdeling van de scores om zo ook een beter inzicht
te krijgen in de betekenis van de indexen. Informatie over de verdelinge van de scores per
DAC-criterium en voor elke component en de daarbijhorende items kan gevonden worden in
de grote tabellen die werden voorgesteld in bijlage 8.
Onderstaande tabel geeft een overzicht van de indexen per DAC-criteria en de evalueerbaarheidsindex op dimensie-, componenten itemniveau.
Tabel A1.1 Index per DAC-criteria en evalueerbaarheidsindex voor
steekproef
Relevanti Effectivite Efficiënti Impac Duurzaamhe
e
it
e
t
id
1
3,11
3,22
3,29
2,52
3,15
1.1
3,65
3,60
1.1.1
3,48
3,50
1.1.2
3,85
1.1.3
3,60
3,55
1.1.4
3,53
3,47
1.1.5
2,40
2,40
1.1.6
4,00
1.1.7
4,10
1.2
2,80
3,00
3,50
2,10
3,25
1.2.1
3,65
2,65
1.2.2
3,35
1,90
1.2.3
4,15
4,40
3,20
1.2.4
3,05
3,35
1,87
1.2.5
3,50
1.2.6
3,00
3,10
2,80
1.2.7
2,80
3,10
3,20
2,15
2,90
1.2.8
3,64
1.3
2,45
2,83
2,85
1,95
2,46
1.3.1
3,15
3,65
1,83
2,72
1.3.2
1,82
1,81
1,34
1,63
de volledige
Evalueerbaarheid
s- Index
3,16
3,63
3,49
3,85
3,58
3,50
2,40
4,00
4,10
2,96
3,15
2,63
3,92
2,76
3,50
2,97
2,83
3,64
2,51
2,84
1,65
65
1.3.3
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.5
1.4.1
1.4.2
1.4.3
2
2.1
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.4bi
s
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2
3.2.1
3.2.2
3.2.3
3,00
2,70
1,85
1,70
3,45
3,15
1,85
1,80
2,30
2,13
1,55
1,45
2,69
2,62
1,82
1,68
1,57
3,50
4,20
2,80
3,00
2,33
2,13
3,73
2,45
1,44
1,51
1,69
2,84
2,28
2,52
2,13
2,20
1,57
3,75
4,17
2,67
3,33
2,73
2,62
3,95
2,84
1,29
3,67
3,50
3,62
3,30
3,23
3,87
3,85
3,75
3,65
3,28
1,90
1,85
2,40
3,67
1,63
3,52
3,76
2,43
3,10
3,51
3,53
4,13
3,90
1,28
1,86
3,93
3,41
3,28
3,47
2,75
2,60
3,95
3,50
3,31
4,15
4,08
4,03
2,53
2,90
3,21
2,64
2,95
2,85
2,73
3,63
3,41
3,56
3,02
2,78
1,79
1,70
2,40
3,67
1,61
3,54
4,03
2,63
3,17
2,96
2,88
3,97
3,18
1,32
1,71
3,04
3,19
2,82
3,04
2,54
2,37
3,95
3,04
3,05
3,71
3,50
3,58
1,57
3,55
4,27
2,82
3,18
2,99
2,95
4,03
1,69
3,44
4,00
2,63
3,25
3,25
3,20
4,05
3,50
1,28
1,76
3,37
3,31
3,08
3,12
2,40
2,37
4,18
4,20
4,33
4,23
4,18
4,22
2,95
2,59
3,72
3,05
3,23
2,67
2,74
3,89
3,68
2,36
3,45
4,11
4,32
3,53
3,62
4,26
4,63
4,18
4,10
4,40
4,35
4,25
3,11
2,88
3,80
3,08
3,40
2,78
2,90
3,98
3,70
2,36
3,45
4,11
4,23
3,52
3,62
4,24
4,64
4,18
4,25
4,45
4,45
4,30
3,32
3,12
3,90
3,30
3,63
2,75
3,00
3,98
3,70
2,36
3,45
4,19
4,49
3,58
3,62
4,24
4,64
4,18
4,25
4,45
4,45
4,25
2,73
2,52
3,70
2,93
2,95
2,22
2,80
3,84
3,58
2,27
3,40
4,11
4,11
3,55
3,56
4,22
4,63
4,18
4,10
4,40
4,35
4,20
3,00
2,64
3,72
3,00
3,08
2,58
2,85
3,89
3,63
2,27
3,45
4,16
4,32
3,55
3,56
4,22
4,63
4,21
4,15
4,45
4,40
4,25
3,02
2,75
3,77
3,07
3,26
2,61
2,86
3,91
3,66
2,33
3,44
4,14
4,29
3,55
3,59
4,24
4,64
4,18
4,17
4,43
4,40
4,25
3,26
2,73
3,00
2,21
3,03
3,11
2,69
3,00
2,86
2,45
66
1.2 Het scoren van de verschillende onderdelen uit het studiekader
Bij het interpreteren van de verschillende resultaten in het rapport (indexen, gedifferentieerde
analyse, rankings, …) moet er voldoende aandacht worden besteed aan het feit dat niet alle
items en componenten van het studiekader gescoord werden voor alle interventies. In
bepaalde gevallen werd er geen score aan een bepaald item of bepaalde component toegeken
wegens “niet van toepassing” (zie studiekader in bijlage 3, missing values of omdat er in een
klein aantal van de gevallen onvoldoende informatie voorhanden was om dat bepaald item of
die bepaalde component te kunnen scoren. Onderstaande tabel geeft een overzicht van het
aantal keer de componenten en de items per DAC-criteria gescoord werden. Op dimensieniveau worden geen scores geteld aangezien op dit niveau de indexen berekend zijn als het
gemiddelde van de onderliggende componenten. Zoals hierbocen reeds werd aangegeven
werden voor de berekening van de evalueerbaarheidsindex werden alle scores van de DACcriteria in rekening gebracht.
Tabel A1.2 Aantal scores per component en per item voor de verschillende DACcriteria en de evalueerbaarheidsindex van de volledige steekproef
Evalueerbaarheids
Relevanti Effectivitei Efficiënti Impac Duurzaamhei
e
t
e
t
d
Index
1
1.1
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
1.1.6
1.1.7
1.2
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
1.2.8
1.3
1.3.1
1.3.2
1.3.3
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.5
1.5.1
Aantal
scores
Aantal
scores
40
40
40
40
38
40
40
40
40,00
40,00
40
40
Aantal
scores
Aantal
scores
Aantal
scores
40,00
38,00
40,00
40,00
40,00
40,00
40,00
40,00
40
40,00
40,00
40
40
39
40
40
37
40
40
40
40
40
39
35
21
21
40
40
40
40
40,00
40,00
34,00
40,00
40,00
40,00
40,00
35
11
11
35,00
16,00
16,00
40
40
40
40
40
40
39
40
40
40
40
40
40
40
35
40
40
40
40
39
39
30
39
37
39
38
35
10
10
35
12
12
Aantal
scores
80
80
40
80
76
80
40
40
160
80
80
120
119
40
120
200
39
199
159
136
199
197
199
198
40
39
175
70
70
67
1.5.2
1.5.3
2
2.1
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.4bi
s
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2
3.2.1
3.2.2
3.2.3
11
11
16,00
16,00
21
21
10
10
12
12
70
70
40
39
40,00
40,00
40,00
36,00
34,00
38,00
39,00
40,00
33,00
40,00
38,00
40
40
40
36
35
35
38
39
29
30
30
39
39
38
34
39
40
39
40,00
39,00
39,00
40,00
40,00
40
40
40
36
35
40
39
40
34
40
40
38
40
39
40
39
39
40
39
39
39
39
40
37
38
39
39
199
198
158
142
104
113
191
188
147
139
175
38
200
154
195
197
196
39
38
34
39
39
40
27
39
40,00
38,00
34,00
40,00
40,00
40,00
27,00
40,00
39
37
34
40
40
40
28
39
39
37
33
40
40
40
23
40
39
37
33
39
40
40
24
40
196
187
168
198
199
200
129
198
40
22
40
37
38
30
26
38
38
40
40
40
40
40
40,00
22,00
40,00
37,00
39,00
31,00
26,00
37,00
39,00
40,00
40,00
40,00
40,00
40,00
40
22
40
37
39
31
26
37
39
40
40
40
40
40
40
22
40
37
38
29
25
36
38
39
40
40
40
40
40
22
40
37
38
29
25
36
38
39
40
40
40
40
200
110
200
185
192
150
128
184
192
198
200
200
200
200
38
30
24
38
40
37
39
27
29
29
68
2. Gedifferentieerde analyse: vergelijkingen tussen landen,
sectoren en interventiekanalen
In dit deel wordt een overzicht gegeven van de gemiddelde scores voor de verschillende subsamples (4 landen, 3 actoren en 2 sectoren) en de evalueerbaarheidsindex van de volledige
steekproef. Bijkomende testen, zoals hieronder besproken, maken duidelijk waar significante
verschillen kunnen gevonden. De algemene analyse en interpretatie van deze gegevens
worden gepresenteerd in hoofdstuk 4 van het syntheserapport
De score m.b.t. de evalueerbaarheidsindex is de score berekend zoals voorgesteld in 1.1.
Anderzijds zijn de scores berekend voor de landen, de actoren en de sectoren gemiddelden
(geen indexen). Als zodanig is het mogelijk dat de globale evalueerbaarheidsscore lichtjes
afwijkt van het gewogen gemiddelden. De verschillen zijn evenwel erg klein en veranderen
niets aan de inhoud van de analyse.
2.1 Vergelijkingen tussen landen
Beschrijvende statistieken
Tabel A2 1. Gemiddelde scores per land en evalueerbaarheidsindex voor de volledige
steekproef
Evalueerbaarheidsindex
Land
België
Benin
DRC
Rwanda
Volledige
steekproef
N= 10
N= 10
N= 10
N= 10
N=40
Component
3,14
2,94
3,24
3,32
1
3,16
1.1
3,25
3,80
3,15
4,30
3,63
1.1.1
3,20
3,75
3,40
3,60
3,49
1.1.2
3,10
4,10
3,80
4,40
3,85
1.1.3
3,60
3,80
3,30
3,60
3,58
1.1.4
3,60
3,80
2,90
3,75
3,50
1.1.5
2,00
2,40
2,60
2,60
2,40
1.1.6
3,60
4,00
3,80
4,60
4,00
1.1.7
3,40
4,00
4,60
4,40
4,10
1.2
2,70
2,63
3,58
2,95
2,96
1.2.1
2,50
3,00
3,20
3,90
3,15
1.2.2
2,60
2,60
2,80
2,50
2,63
1.2.3
3,93
4,27
3,87
3,60
3,92
1.2.4
2,97
3,13
3,13
1,87
2,76
1.2.5
2,40
3,00
4,60
4,00
3,50
1.2.6
2,27
2,00
3,33
4,27
2,97
1.2.7
2,88
2,52
3,16
2,76
2,83
1.2.8
3,70
3,90
3,56
3,40
3,64
1.3
2,55
2,18
2,34
2,98
2,51
1.3.1
2,53
3,05
2,43
3,35
2,84
1.3.2
1,03
1,86
1,67
2,38
1,65
1.3.3
3,10
2,20
3,28
3,52
3,02
1.3.4
2,45
2,56
2,84
3,28
2,78
1.3.5
2,28
1,40
2,12
1,40
1,79
1.3.6
1,68
1,20
2,52
1,40
1,70
1.3.7
2,40
1,90
2,40
2,90
2,40
1.3.8
3,60
4,00
3,67
3,40
3,67
69
1.3.9
1.4
1.4.1
1.4.2
1.4.3
Component
2
2.1
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
Component
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2
3.2.1
3.2.2
3.2.3
1,80
4,08
4,44
3,32
4,04
1,32
3,17
3,17
2,00
3,00
1,20
3,90
4,35
4,00
2,50
2,20
3,03
3,33
1,00
3,00
2,98
2,67
3,05
3,15
2,88
3,94
3,35
1,00
1,27
2,97
3,46
3,07
3,24
2,05
1,93
3,70
3,08
3,58
3,96
4,24
4,00
3,36
2,04
3,76
3,52
3,50
2,38
3,28
2,68
3,82
3,05
1,67
1,81
2,97
2,60
2,35
2,58
1,71
2,63
4,30
2,66
2,60
3,44
2,96
2,44
2,92
2,83
3,68
2,63
3,20
2,35
2,56
2,90
3,94
3,45
1,45
1,87
2,60
3,60
2,70
3,10
3,16
3,25
3,75
3,20
2,78
3,92
3,76
3,64
3,18
2,20
3,92
3,34
3,10
2,25
2,60
3,08
4,22
2,95
1,14
1,86
3,87
3,04
3,26
2,96
2,60
1,65
4,00
3,22
3,23
3,48
3,12
4,28
2,72
3,76
3,68
2,78
3,22
3,48
3,00
4,17
4,18
3,85
3,45
3,78
2,60
3,80
4,50
5,00
3,24
2,71
5,00
5,00
4,40
4,56
5,00
4,48
4,40
3,76
2,04
3,80
4,11
4,18
3,44
4,00
3,80
4,80
4,10
4,60
5,00
4,40
4,80
3,50
3,00
2,40
3,60
3,60
3,50
3,67
4,50
4,56
4,12
4,20
4,60
4,60
4,24
3,58
1,67
3,76
4,38
4,38
4,50
4,11
3,80
4,20
4,10
3,32
3,12
4,12
3,56
1,61
3,54
4,03
2,63
3,17
2,96
2,88
3,97
3,18
1,32
1,71
3,04
3,19
2,82
3,04
2,54
2,37
3,95
3,04
3,05
3,71
3,50
3,58
3,02
2,75
3,77
3,07
3,26
2,61
2,86
3,91
3,66
2,33
3,44
4,14
4,29
3,55
3,59
4,24
4,64
4,18
4,17
4,43
4,40
4,25
Testresultaten: Vergelijking tussen landen
Gezien we hier 4 onafhankelijke sub-samples (de vier landen) hebben en ordinale data (scores
op een schaal van 1 tot 5), kiezen we voor de Kruskal-Wallis H-test die toelaat om verdelingen
van de scores te vergelijken en te bepalen of er een significant verschil is tussen de
verdelingen van de scores voor de vier verschillende landen. Deze testen werden uitgevoerd
op componentniveau en wanneer de test de nulhypothese verwerpt, werden er gelijkaardige
70
testen uitgevoerd op het niveau van de onderliggende items om zo de oorsprong van het
verschil te analyseren. De resultaten worden weergegeven in Tabel A2.4.
Tabel A2 2. Resultaten Kruskal-Wallis Test voor vergelijking tussen landen
(component en item niveau) (p-waarden)
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
1.1
0,070*
1.1.2: 0,023**
1.2
0,043**
Niets significant
op item niveau
0,371
1.3
0,203
0,105
0,021**
1.3.1: 0,012**
1.3.2: 0,059*
1.4
0,079*
1.4.2: 0,017**
0,390
0,382
2.1
0,072*
1.4.2: 0,048**
1.4.3: 0,097*
0,940
0,015**
1.2.5: 0,002***
1.2.6: 0,001***
0,028**
1.3.1: 0,023**
1.3.3: 0,005***
1.3.4: 0,017**
0,114
0,638
0,103
0,429
0,056*
2.2
0,830
0,892
0,501
0,164
3.1
0,749
0,568
0,568
0,903
0,096*
2.2.3: 0,012**
2.2.4: 0,008***
0,767
3.2
0,834
0,015**
Niets significant
op item niveau
0,103
0,073*
0,023**
0,023**
0,073*
3.2.1: 0,000*** 3.2.1: 0,000*** 3.2.1: 0,000*** 3.2.1: 0,000***
***: significant op α=0,01; **: significant op α=0,05; *: significant op α=0,10
0,098*
Om een uitspraak te kunnen doen welke landen significant van elkaar verschillen, werden voor
alle significante verschillen post-hoc paarsgewijze vergelijkende testen (Mann-Whitney U test)
uitgevoerd met Bonferroni correctie. Deze testen werden uitgevoerd op component en op item
niveau en voor de verschillende DAC-criteria. In tabel A2.5 worden de gemiddelden
weergegeven voor de componenten en items die significant van elkaar verschillen; een
lettersymbool duidt aan tussen welke landen significante verschillen werden gevonden
71
Tabel A2 3. Gemiddele scores voor componenten en items die significant verschillen (significante verschillen aangeduid met
lettersymbool)
3,1
België
4,1
Benin
3,8
DRC
4,4
Rwanda
3,2
a
België
3,8
a
Benin
België
3,1 b
Duurzaamheid
DRC
Benin
4,3a
België
DRC
3,3
Benin
Rwanda
3,8
DRC
België
3,2 b
Rwanda
Benin
4,3a
Impact
Rwanda
1.1.2
Efficiëntie
DRC
1.1
Effectiviteit
Rwanda
Relevantie
1,9
2,9 a
1,8 b
1,8 b
3,5
4,4 a
2,8
2,2 b
b
1.2
1.2.5
4a
4,6 a
3
2,4 b
1.2.6
4,2 a
3,5
1,6 b
2b
2,4
2b
2,11b
3,3
3,3 a
b
3,7
a
2,11
1,1
1.3.3
1.3.4
1.3
3,3
2,4
1.3.1
3,9
b
2,8
1.3.2
2,63
1,6
2,4
2,7
2,2
b
2,11b
3,8 a
3,4
1,6 b
1,89b
3,6 a
2,9
2,2
1,43b
2.2
3,4
3,2
2
2,8
2.2.3
3,4
4a
2b
4,33a
2.2.4
4,6 a
3,7
2b
4,11a
3,4 a
4,2
4,6 b
4,4 b
1.4
1,67
3,75
a
b
1.4.2
1
1.4.3
1,67
4
2,5
5
4,67
2,33
3,75
1
3,67
a
b
5
5
1
4
3
4,5
1,8
3,5
a
4,2
3,8
3.2
3,2 a
4,2
4,6 b
4,4 b
3,4 a
4,2
4,6 b
4,8 b
3,4 a
4,2
4,6 b
4,8 b
3,2 a
4,2
4,6 b
4,4 b
3.2.1
3a
4,6 b
5b
5b
3,2 a
4,6 b
5b
5b
3,2 a
4,6 b
5b
5b
3a
4,6 b
5b
5b
Interpretatie van de lettersymbolen: Waneer er een significant verschil gevonden wordt tussen bepaalde landen krijgen deze landen een
ander lettersymbool. Bijvoorbeeld, voor 1.1 Relevantie zien we dat er enkel een significant verschil gevonden wordt tussen Rwanda (code a)
en DRC (code b), echter is de component voor deze landen niet significant verschillend van de component voor Benin en België. De
component is ook niet significant verschillende voor België en Benin.
Enkel de gemiddelden voor de componenten en items die significante verschillen vertonen tussen de landen worden in de tabel
weergegeven.
72
2.2 Vergelijkingen tussen interventiekanalen
Tabel A2 4. Gemiddelde scores per actor en evalueerbaarheidsindex voor de
volledige steekproef
EvalueerbaarheidsAndere
index
BTC
NGO&Vakbond
(APEFE, VVOB, VLIR, BIO...) Volledige
steekproef
Component
1
1.1
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
1.1.6
1.1.7
1.2
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
1.2.8
1.3
1.3.1
1.3.2
1.3.3
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.4
1.4.1
1.4.2
1.4.3
Component
2
2.1
2.1.1
N=10
N=20
N=10
3,52
3,2
2,59
4,10
3,75
2,90
3,80
4,20
4,20
4,56
2,00
4,40
4,60
3,00
3,60
2,70
4,07
2,27
3,40
3,93
2,68
3,40
2,82
3,20
2,27
3,20
3,08
1,16
1,56
3,30
4,80
2,24
4,17
4,33
1,67
4,67
3,63
3,80
3,65
3,45
3,20
3,80
3,90
2,98
3,00
2,65
3,60
2,87
3,60
2,53
3,00
3,75
2,70
2,89
1,71
3,25
2,87
2,34
1,94
2,50
3,40
1,35
3,38
3,96
2,78
2,75
2,90
3,60
2,80
2,56
1,20
4,00
4,00
2,90
3,00
2,50
4,40
3,10
3,40
2,87
2,64
3,67
1,82
2,38
1,27
2,40
2,30
1,36
1,36
1,30
3,00
1,44
2,75
2,25
2,50
2,00
2,97
3,09
2,7
2,86
4,70
3,03
3,98
2,62
3,26
N=40
3,16
3,63
3,49
3,85
3,58
3,50
2,40
4,00
4,10
2,96
3,15
2,63
3,92
2,76
3,50
2,97
2,83
3,64
2,51
2,84
1,65
3,02
2,78
1,79
1,70
2,40
3,67
1,61
3,54
4,03
2,63
3,17
2,96
2,88
3,97
73
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
Component
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2
3.2.1
3.2.2
3.2.3
2,75
2,08
2,11
3,57
3,84
3,12
3,40
3,26
2,37
4,00
3,08
3,15
3,64
3,12
3,76
2,84
3,96
4,16
2,87
2,96
3,11
3,04
3,58
1,15
1,77
3,17
3,25
2,93
2,99
2,28
2,55
4,11
3,15
3,20
3,86
3,60
3,44
3,19
2,29
4,00
3,46
3,54
2,59
2,90
2,90
1,20
1,27
2,50
2,48
2,41
2,45
1,71
2,00
3,56
2,78
2,61
3,44
3,76
3,72
2,93
2,42
2,88
2,48
2,98
1,77
2,60
4,07
3,93
3,72
3,74
2,50
3,80
4,50
4,84
4,50
4,33
4,33
5,00
4,70
4,40
4,60
5,00
4,00
3,72
2,12
3,50
3,85
4,09
3,44
3,53
4,30
4,70
4,06
4,14
4,56
4,10
4,40
3,44
2,50
2,96
4,43
4,11
3,25
3,00
4,11
4,20
3,90
4,00
4,00
4,40
4,20
3,18
1,32
1,71
3,04
3,19
2,82
3,04
2,54
2,37
3,95
3,04
3,05
3,71
3,50
3,58
3,02
2,75
3,77
3,07
3,26
2,61
2,86
3,91
3,66
2,33
3,44
4,14
4,29
3,55
3,59
4,24
4,64
4,18
4,17
4,43
4,40
4,25
Testresultaten Vergelijkingen tussen interventiekanalen
Ook bij de vergelijking tussen de 3 actoren maken we, gezien de 3 onafhankelijke subsamples en de ordinale data, gebruik van de Kruskal-Wallis H-test om de verdelingen van de
scoreste vergelijken en te bepalen of er een significant verschil is tussen de verdelingen van
de scores voor de drie verschillende actoren. Eveneens werden deze testen werden uitgevoerd
op het component niveau en wanneer de test de nulhypothese verwerpt, werden er
gelijkaardige testen uitgevoerd op het niveau van de onderliggende items om zo de oorsprong
van het verschil te analyseren. De resultaten worden weergegeven in Tabel A2.6.
74
Tabel A2 5. Resultaten Kruskal-Wallis Test voor vergelijking tussen actoren
Relevantie
0,020**
1.1.1: 0,089*
1.1.3: 0,036**
1.1.4: 0,003***
1.1.5: 0,002***
1.1
1.2
1.3
Effectiviteit
0,027**
1.1.3: 0,036**
1.1.4: 0,003***
1.1.5: 0,002***
0,597
Efficiëntie
Impact
Duurzaamheid
0,879
0,565
0,740
0,218
0,048**
1.3.1: 0,079*
0,058*
0,004***
1.3.3: 0,064*
1.3.5: 0,030**
1.3.5: 0,030**
1.4
1.3.9: 0,018**
0,107
1.3.9: 0,065*
0,157
0,002***
1.3.1: 0,048**
1.3.3: 0,029**
1.3.4: 0,039**
1.3.5: 0,058*
1.3.7: 0,005***
1.3.8: 0,051*
1.3.9: 0,065*
0,190
2.1
0,296
0,107
0,717
0,753
1.3.9: 0,051*
0,097*
Niets significant
op item niveau
0,618
2.2
0,730
0,258
0,565
0,679
0,704
3.1
0,682
0,471
0,471
0,290
0,475
3.2
0,699
0,825
0,825
0,699
0,734
1.3.5: 0,043**
0,100*
1.5.3: 0,094*
Om een uitspraak te kunnen doen welke actoren significant van elkaar verschillen, werden
voor alle significante verschillen post-hoc paarsgewijze vergelijkende testen (Mann-Whitney U
test) uitgevoerd met Bonferroni correctie. Deze testen werden uitgevoerd op component en op
item niveau en voor de verschillende DAC-criteria. In tabel A2.7 worden de gemiddelden
weergegeven voor de componenten en items die significant van elkaar verschillen; een
lettersymbool duidt aan tussen welke landen significante verschillen werden gevonden. Voor
component 1.4 werden geen paarswijze testen uitgevoerd omwille van het beperkte aantal
observaties per actor.12
Tabel A2 6. Gemiddele scores voor componenten en items die significant verschillen
(significante verschillen aangeduid met lettersymbool)
4,10
1.1
1.1.
1
1.1.
3
1.1.
4
a
1.1.
2,00
3,80
4,20
a
4,56
a
3,8
0a
3,6
0
3,7
0
3,4
5b
2,9
0b
2,9
0
2,8
0b
2,5
6b
4,1
0a
3,7
0
2,9
0b
4,2
0a
4,5
6a
3,6
0
3,3
5b
2,8
0b
2,5
6b
3,2
1,2
2,0
3,2
1,2
Andere
NGO &
Vakbond
BTC
Duurzaamheid
Andere
BTC
NGO &
Vakbond
Impact
Andere
NGO &
Vakbond
BTC
Efficiëntie
Andere
NGO &
Vakbond
BTC
Effectiviteit
Andere
NGO &
Vakbond
BTC
Relevantie
12
Voor impact werd 2 maal, 8 maal en niet gescoord voor, respectievelijk BTC-interventies, interventies van
NGO&Vakbond en de “Andere” interventies. Voor duurzaamheid werd slechts 5 maal, 8 maal en 7 maal gescoord
voor, respectievelijk BTC-interventies, interventies van NGO&Vakbond en de “Andere” interventies.
75
5
1.3
1.3.
1
1.3.
3
1.3.
4
1.3.
5
1.3.
7
1.3.
8
1.3.
9
3,00
0a
0b
0
0a
0b
2,5
0
1,8
0
2,9
0
3,2
5a
1,9
0b
3,2
0
4,0
0
2,6
0
1,2
0a
2,4
0b
1,4
0
3,00
a
3,70
3,60
3,30
1,20
a
2,4
0b
1,4
0
1,20
3,30
a
4,80
2,33
a
1,2
4b
1,4
4
2,3
3
1,4
7
1,4
4
2,22
3,2
5a
4,0
0a
4,2
0a
3,7
0a
2,4
0
2,5
0a
3,4
0
1,4
7
1,9
0b
2,9
0b
2,6
0b
2,4
0b
1,6
0
1,3
0b
3,0
0
1,4
4
3,00
a
3,50
1,20
a
2,22
2,4
7
2,5
3
1,9
0b
2,3
0
2,3
7b
1,4
0
1,3
5
1,4
4
1.4
/
/
/
/
/
/
Interpretatie van de lettersymbolen: Waneer er een significant verschil gevonden wordt
tussen bepaalde actoren krijgen deze actoren een ander lettersymbool. Bijvoorbeeld, voor 1.1
Relevantie zien we dat er een significant verschil gevonden wordt tussen de interventies
geclassificeerd als “Andere” (code b) en de BTC interventies (code a) en tussen de interventies
geclassificeerd als “Andere” (code b) en NGO&Vakbond interventies (code a). De component is
niet significant verschillende voor BTC interventies en NGO&Vakbond interventies (beiden
code a).
2.3 Vergelijkingen tussen sectoren
Tabel A2 7. Gemiddelde scores per sector en evalueerbaarheidsindex voor de
volledige steekproef
Sector
Niet complex
Complex
Volledige
steekproef
N=16
N=24
N=40
Component 1
2,87
3,3
3,16
1.1
3,31
3,83
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
1.1.6
1.1.7
1.2
1.2.1
1.2.2
1.2.3
1.2.4
3,16
3,56
3,13
3,25
2,00
3,88
3,88
3,03
2,75
2,50
3,88
3,23
3,71
4,04
3,88
3,68
2,67
4,08
4,25
2,92
3,42
2,71
3,94
2,47
3,63
3,49
3,85
3,58
3,50
2,40
4,00
4,10
2,96
3,15
2,63
3,92
2,76
76
1.2.5
1.2.6
1.2.7
1.2.8
1.3
1.3.1
1.3.2
1.3.3
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.4
1.4.1
1.4.2
1.4.3
Component 2
2.1
2.1.1
2.1.2
2.1.3
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2
2.2.1
2.2.2
2.2.3
2.2.4
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
Component 3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3,63
3,08
2,58
3,87
2,11
2,77
1,68
2,65
2,63
1,58
1,83
2,13
3,93
1,43
3,03
3,33
2,00
2,33
2,82
2,68
3,76
3,06
1,63
1,76
2,81
2,95
2,49
2,80
2,70
2,74
4,27
2,95
2,88
3,78
3,25
3,53
2,68
3,02
3,10
2,64
2,95
2,14
2,18
3,82
3,44
3,00
2,98
3,85
4,11
3,42
2,89
3,00
3,50
2,78
2,89
1,74
3,28
2,89
1,95
1,62
2,58
3,50
1,72
3,67
3,91
2,57
3,48
3,07
3,03
4,13
3,29
1,10
1,63
3,29
3,34
3,08
3,11
2,17
2,12
3,74
3,10
3,16
3,65
3,70
3,63
3,27
2,64
4,20
3,35
3,46
2,74
3,32
3,98
3,80
1,94
3,75
4,29
4,40
3,50
2,97
2,83
3,64
2,51
2,84
1,65
3,02
2,78
1,79
1,70
2,40
3,67
1,61
3,54
4,03
2,63
3,17
2,96
2,88
3,97
3,18
1,32
1,71
3,04
3,19
2,82
3,04
2,54
2,37
3,95
3,04
3,05
3,71
3,50
3,58
3,02
2,75
3,77
3,07
3,26
2,61
2,86
3,91
3,66
2,33
3,44
4,14
4,29
77
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2
3.2.1
3.2.2
3,83
3,44
3,71
4,33
4,01
4,20
4,20
4,70
3,34
3,71
4,58
4,83
4,29
4,15
4,58
4,20
3,55
3,59
4,24
4,64
4,18
4,17
4,43
4,40
3.2.3
4,38
4,17
4,25
Testresultaten Vergelijkingen tussen sectoren
Gezien we hier slechts 2 onafhankelijke sub-samples hebben (twee verschillende sectoren) en
ordinale data, kan gekozen worden voor de Kruskal-Wallis H-test of de Mann-Whitney U test.
Beide testen laten toe de verdelingen van de scores te vergelijken tussen sectoren en te
bepalen of er een significant verschil is. Deze testen werden uitgevoerd op component niveau
en wanneer de test de nulhypothese verwerpt, werden er gelijkaardige testen uitgevoerd op
het niveau van de onderliggende items om zo de oorsprong van het verschil te analyseren. De
resultaten van beide testen zijn sterk gelijklopend. Enkel de resultaten van de Kruskal-Wallis
H-test worden weergegeveven in Tabel A2.8.
Aangezien we hier slechts twee sub-samples met alkaar vergelijken is er geen nood aan posthoc paarsgewijze vergelijkende testen (Mann-Whitney U test). In tabel A2.9 worden daarom
enkel de gemiddelden weergegeven voor de componenten en items die significant van elkaar
verschillen.
Tabel A2 8. Resultaten Kruskal-Wallis Test voor vergelijking tussen sectoren
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0,137
0,219
1.3
0,040**
1.3.3: 0,057*
0,374
0,005***
1.3.3: 0,070*
0,466
0,011**
1.3.3: 0,066*
0,965
0,501
0,152
0,300
1.4
0,695
0,590
0,742
0,633
0,929
2.1
0,215
0,128
0,857
0,243
0,434
2.2
0,595
0,921
0,101
0,845
0,057*
3.1.1: 0,053*
3.1.2: 0,073*
3.1.3: 0,073*
3.1.7: 0,038*
3.1.8: 0,051*
0,864
3.1
0,191
0,057*
3.1.1: 0,053*
3.1.2: 0,073*
3.1.3: 0,048**
3.1.7: 0,038**
3.1.8: 0,051*
0,479
0,246
1.1
1.2
3.2
0,586
0,803
0,803
0,586
0,468
78
Tabel A2 9. Gemiddele scores voor componenten en items die significant verschillen
Relevantie
Effectiviteit
Complex
Niet
complex
1.3
2,75
2,00
1.3.3
3,42
2,38
Efficiëntie
Complex
Niet
complex
Complex
Niet
complex
3,21
2,25
3,17
2,38
3,83
2,88
4,00
3,13
3.1
3,88
3,44
3,88
3,44
3.1.1
2,00
3,00
2,00
3,00
3.1.2
3,75
3,00
3,75
3,00
3.1.3
4,29
3,77
4,29
4,00
3.1.7
3.1.8
4,57
4,83
3,71
4,33
4,57
4,83
3,71
4,33
3. Ranking van de items van het studiekader o.b.v. de
evalueerbaarheidsindex en o.b.v. de indexen voor de
verschillende DAC-citeria
De items van het studiekader werden gerangschikt op basis van de verschillende indexen. Het
item met de hoogste index krijgt rank 1, het volgende item rank 2, enz… De 20% hoogst
gerangschikte items uit het studiekader worden in het groen aangegeven. De 20% laagst
gerangschikte items uit het studiekader worden in het rood aangegeven. Ook bij de
interpretatie van de ranking moet voldoende aandacht worden besteed aan het feit dat de
beste/slechtste ranks vaak net de elementen zijn uit het studiekader waar relatief veel minder
scores voor zijn (missing values, not applicable, …). Dit geldt bijvoorbeeld voor de
evalueerbaarheidsindex berekend voor 1.4.1: in totaal zijn 130 van de 200 scores hier ‘not
applicable’, maar dit item staat wel voor enkele criteria binnen de 20% hoogst geranschikte
items (zie tabel A3 1).
Wij zullen hierna de meest uit het oog springende aspecten van deze ranking bespreken door
ons met name te richten op de 20% items die – per evaluatiecriterium en globaal - het
sterkste en het zwakste scoren.
3.1 De 20% best scorende items
De tabel A3 2 laat toe vast te stellen dat 13 items (dit is 21% van de in totaal 62 items die
werden geanalyseerd13) minstens voor één evalueerbaarheidscriterium bij de 20% beste
behoren. Van die 13 items zijn er zelfs 6 die voor elk van de vijf evaluatiecriteria tot de 20%
beste behoren. Aan de andere kant zijn er twee items (1.1.6 en 1.1.7) die enkel voor de
globale score bij de 20% beste horen.
Een nadere kijk op de tabel duidt aan dat een meerderheid (8) van de best scorende items tot
de derde dimensie (de context) behoren. Het gaat om twee derden van de (12) items die we
onder die derde dimensie vinden en 6 (de helft) van die items hebben zelfs de 6 beste globale
evalueerbaarheidsscores. Van de tweede component onder die dimensie (3.2, de bredere
context) zijn zelfs alle (3) items bij de best scorende 20% te vinden. Deze vaststellingen
liggen in de lijn van wat we reeds hoger aangaven en suggereren sterk dat, tenminste voor de
bestudeerde interventies, omgevingsfactoren de evalueerbaarheid eigenlijk zelden negatief
beïnvloeden, niettegenstaande het feit dat de helft van de interventies uitgevoerd
worden/werden in twee landen met specifieke contextuele uitdagingen vanuit het perspectief
van evalueerbaarheid. We moeten hierbij wel twee slagen om de arm houden: de eerste heeft
13
… waarbij het belangrijk is op te merken dat niet alle items voor alle criteria werden gescoord.
79
te maken met de beperkingen die de onderzoekers ondervonden om de analyse m.b.t. de
context goed uit te voeren (zie deel 3 van het vorige hoofdstuk en 4.1 van dit hoofdstuk), de
tweede met het feit dan om redenen reeds eerder aangegeven, we praktische elementen die
onder de context vallen (bv. slechte infrastructuur, …) in onze beoordeling niet konden
meenemen. Dit soort factoren kan uiteraard een belangrijke rol spelen bij de
evalueerbaarheid.
Buiten de context-items zijn er slechts 5 items die voor één of meerdere criteria of globaal bij
de 20% beste behoren. Het best scorende item is hier ‘De voornaamste betrokken partijen
waren het eens met het voorgestelde M&E systeem (inclusief hun rol hierbinnen)’ (2.2.4bis)
dat voor alle criteria bij de 20% beste scores hoort. Vanuit onze eerdere bevindingen, is de
aanwezigheid van 1.1.7 en 1.1.6 in deze lijst een kleine verrassing, omdat zij behoren tot de
component ‘de onderliggende analyse’ die binnen dimensie 1 en 2 de beste component was,
maar lang niet zo sterk scoorde dan de componenten en items onder dimensie 3.
Waarschijnlijk speelt het feit dat deze items slechts op 2 criteria (relevantie en effectiviteit)
werden gescoord, hier een rol, omdat op die wijze de ‘moeilijke’ criteria (duurzaamheid en
vooral impact) niet werden gescoord.
80
Tabel A3 1: Globaal rangkingsoverzicht
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
1.1.6
1.1.7
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
1.2.8
1.3.1
1.3.2
1.3.3
1.3.4
1.3.5
1.3.6
1.3.7
1.3.8
1.3.9
1.5.1
1.5.2
1.5.3
2.1.1
2.1.2
2.1.3
Relevantie
23
14
19
21
39
13
11
Effectiviteit
21
Impact
5
30
27
40
17
41
Duurzaamheid
19
23
45
17
28
9
39
33
40
36
29
36
42
43
32
50
24
32
49
51
44
5
32
27
12
Efficiëntie
53
12
44
30
11
21
54
38
36
23
21
50
21
34
47
49
45
20
51
19
44
39
12
17
52
37
17
30
26
42
49
32
39
45
47
32
43
33
37
41
42
44
6
24
18
11
31
48
44
9
35
20
11
29
45
28
16
23
25
53
12
10
34
50
15
47
25
41
44
20
43
60
40
46
57
59
53
19
61
11
49
33
13
32
62
81
2.1.4
2.1.5
2.1.6
2.1.7
2.1.8
2.1.9
2.1.10
2.1.11
2.2.1
2.2.2
2.2.3
2.2.4
1.4.4
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.2.10
2.2.11
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.1.7
3.1.8
3.1.9
3.2.1
3.2.2
3.2.3
41
52
27
29
37
34
45
47
16
22
17
8
31
38
15
28
26
37
34
40
24
10
4
20
17
6
1
9
2
3
7
31
13
14
16
7
35
42
15
37
26
43
41
48
24
10
6
20
18
5
1
8
2
2
4
25
35
29
48
16
29
34
27
41
43
15
32
11
13
14
6
31
37
17
33
24
41
40
46
28
9
2
26
25
8
1
10
3
3
7
46
43
23
33
29
38
36
21
33
23
27
39
22
16
28
20
4
26
30
12
21
19
35
24
34
15
9
10
14
13
5
1
8
2
3
6
31
13
19
14
8
23
36
12
23
22
38
28
40
18
10
4
16
15
6
1
7
2
3
5
58
37
31
45
38
52
55
14
36
18
27
22
7
39
48
17
35
30
51
42
56
29
9
4
24
21
6
1
8
2
3
5
82
Tabel A3 2: Overzicht van de best scorende items qua evalueerbaarheid
Item
Relevantie
3.1.8 Het is mogelijk om alle sleutelactoren
te contacteren zonder risico op wederzijdse
beïnvloeding
3.2.1 De bredere institutionele en politieke
context staat positief t.a.v. onafhankelijke
evaluatie
3.2.2 De socio-culturele context op het
niveau van de doelgroepen maakt correct
verzamelen van informatie mogelijk
3.1.4 De verwachtingen van de
sleutelactoren t.a.v. de evaluatie zijn
realistisch (tov beschikbare middelen)
3.2.3 Lokale deskundigheid met het
vereiste profiel voor de evaluatie is
beschikbaar”
3.1.7 De onderlinge relaties tussen de
sleutelactoren zijn “gezond”
2.2.4bis De voornaamste betrokken
partijen waren het eens met het
voorgestelde M&E systeem (inclusief hun
rol hierbinnen)
3.1.9 Er is een positieve houding t.a.v.
onafhankelijke evaluatie bij alle
sleutelactoren
3.1.3 De verwachtingen van de
sleutelactoren t.a.v. de evaluatie (proces
en resultaten) zijn onderling compatibel
1.1.7 De band tussen de rationale van de
interventie en het sectorbeleid van het
partnerland is duidelijk beschreven
1.4.1 Eventuele veranderingen in
interventielogica en onderliggende
veranderingstheorie zijn duidelijk
aangegeven en beargumenteerd
1.1.6 De band tussen de onderliggende
analyse en de interventiedoelen is duidelijk
beschreven
1.2.3 De veranderingstheorie is logisch en
realistisch
Effectiviteit
Efficiën
-tie
Impact
Duurza
amheid
Evalueer
baar
heids
index
4,63
4,64
4,64
4,63
4,63
4,64
4,40
4,45
4,45
4,40
4,45
4,43
4,35
4,45
4,45
4,35
4,40
4,40
4,32
4,23
4,49
4,32
4,29
4,25
4,30
4,25
4,20
4,25
4,25
4,26
4,24
4,24
4,22
4,22
4,24
4,18
4,20
4,33
4,23
4,18
4,22
4,18
4,18
4,18
4,21
4,18
4,11
4,19
4,11
4,14
4,10
4,27
4,20
4,17
4,03
4,00
4,15
4,40
3.2 De 20% slechtst scorende items
Wat in eerste instantie opvalt in tabel A3 3 (zie hierna) is dat 18 items, d.w.z. bijna één
derde van alle items, voor minstens één criterium bij de 20% slechtst scorende items
behoren. Van deze 18 items behoren er 10 tot de eerste dimensie (het interventieplan),
7 tot de tweede (de uitvoeringspraktijk) en slechts 1 tot de derde dimensie (de context).
8 van de 18 items leveren ook één van de 20% laagste scores aan voor alle criteria
waarvoor ze werden onderzocht14. Verder is het vooral de oververtegenwoordiging van
component 1.3 (Het voorgestelde M&E systeem) die opvalt, waarvan 7 (van de 9 items
van deze component) op de lijst figureren.
Dat item 2.1.3 (Er is baseline informatie voor de indicatoren (consistent aan de
interventielogica) m.b.t. de counterfactual) hoog op de lijst zou eindigen, is geen
verrassing gezien de afwezigheid van een traditie, binnen de Belgische samenwerking,
14
Het aantal criteria waarvoor een item werd onderzocht is gewoonlijk 5, maar in een aantal gevallen minder.
Sommige items, zoals bijvoorbeeld 1.3.7 (De personele en financiële middelen van het M&E systeem zijn
duidelijk beschreven) hebben maar op één criterium betrekking.
83
om met counterfactuals te werken. Vanuit het standpunt van evalueerbaarheid heeft het
ontbreken van een counterfactual vooral ernstige implicaties op het vlak van impact15.
De praktijk om met een counterfactual te werken, vormt geen onderdeel van de
Belgische ontwikkelingstraditie, zelfs niet in relatief grote en/of langdurige interventies.
Een counterfactual uitwerken wordt aanzien als erg veeleisend en niet echt nodig, ook al
omdat de financierende instanties hierop nooit hebben aangedrongen. Hoewel werken
met een counterfactual inderdaad niet eenvoudig is, heeft het onderzoeksteam toch een
aantal interventies bezocht waar de uitwerking van een counterfactual niet zo moeilijk
zou zijn geweest en/of zeker te verantwoorden vanuit het perspectief van de interventie
(bv. interventies die vanuit een geheel nieuwe veranderingstheorie aan de slag zijn
gegaan en er nood aan hebben om die theorie goed te testen, ook op de ‘hogere’
niveaus). Waarschijnlijk gaat ook hier het adagium ‘onbekend is onbemind’ op, en
worden zo interessante opportuniteiten gemist.
Een gelijkaardige opmerking kan ook worden gemaakt m.b.t. het tweede item op de lijst
(De wijze waarop het M&E systeem van de interventie zich afstemt/verhoudt tot het
nationale/lokale M&E systeem is duidelijk beschreven) en de daarmee verbonden item
2.2.6 lager op de lijst (Het M&E systeem van de interventie is afgestemd op het
nationale/lokale M&E systeem). Hoewel de afstemming van de interventie op het
sectorbeleid van het land goed scoort (zie tabel met beste items hierboven), blijkt men
daarbij niet te overwegen of het M&E systeem zich kan afstemmen op dat van de
overheid in het betrokken land of andere lokale actoren. Het feit dat in sommige landen
deze systemen nog niet zijn uitgewerkt, nog in ontwikkeling of onbetrouwbaar zijn,
speelt hier zeker een rol.
De aanwezigheid van item 1.3.2 (Er is baseline informatie voorhanden waarbij de
relevante indicatoren sekse-specifiek en/of naar andere relevante parameters zijn
uitgesplitst) en de daarmee verbonden items 2.1.4 (Er is baseline informatie voorhanden
waarbij de relevante indicatoren
sekse-specifiek en/of naar andere relevante
parameters zijn uitgesplitst) en 1.1.5 (Genderanalyse is een integraal deel van de
onderliggende analyse) is evenmin een verrassing. In onze analyse hierboven werd op
verschillende plaatsen het gebrek aan aandacht voor gender en andere relevante
parameters van sociale differentiatie vastgesteld. Daarnaast is het verband tussen deze
items evident: als de initiële analyse gender niet of slechts fragmentair integreert, zal dit
zich waarschijnlijk vertalen in een tekort aan aandacht voor gender verderop in de
interventiecyclus. Het is evident dat gebrek aan aandacht voor gender de evalueerbaarheid sterk beïnvloedt.
Zoals reeds eerder aangegeven, behoren een groot aantal items uit de lijst tot
component 1.3 (Het voorgestelde M&E systeem). We kunnen hieruit besluiten dat –
tenminste vanuit het standpunt van evalueerbaarheid – in het interventieplan te weinig
aandacht wordt besteed aan het M&E systeem. Naast eerder geciteerde manco’s m.b.t.
articulatie met lokale M&E systemen en aandacht voor gender, wordt ook aan andere
elementen van het M&E systeem te weinig aandacht besteed: de werkwijze om interne
risico’s en assumpties op te volgen, de personele en financiële middelen, de werkwijze
om interventieresultaten en hun duurzaamheid op te volgen en te evalueren, en de
operationalisering van de voornaamste resultaten van de interventie.
De zwakke uitwerking van het M&E systeem in het interventieplan kan vanuit het
standpunt van evalueerbaarheid op verschillende wijzen worden bekeken. Allereerst
maakt het vanuit evalueerbaarheid minder uit of dit systeem al dan niet goed is
beschreven in het interventieplan, wat telt is de kwaliteit van het M&E systeem in de
praktijk. Vervolgens is het belangrijk te onderlijnen dat component 1.3 werd toegevoegd
onder dimensie 1 vanuit de overweging dat een goede ex-ante uitwerking van het M&E
systeem een goede garantie vormt voor een adequaat M&E systeem in de
uitvoeringsfase. Deze hypothese wordt slechts gedeeltelijk bevestigd: in de regel is de
praktijk beter dan wat in het interventieplan beschreven staat; slechts twee items m.b.t.
de M&E praktijk behoren tot de zwakste items. De betere score m.b.t. de M&E praktijk
heeft o.i. vooral te maken met het feit dat men het (om verschillende redenen) niet
belangrijk vindt om ex ante het M&E systeem in het interventieplan in detail te
beschrijven en/of dat dit plan slechts bij de opstart van de interventie in detail wordt
15
Zie ook onze bespreking van het gebruik van een counterfactual onder hoofdstuk 3 deel 2.2.
84
uitgewerkt, een praktijk die we in verschillende interventies zijn tegengekomen. Ons lijkt
het aanvaardbaar dat de informatie m.b.t. het M&E systeem in het interventieplan
beperkt wordt; een korte schets van de verschillende componenten van het systeem en
hoe die vorm zijn gegeven (of zullen krijgen) en op elkaar zijn (of zullen worden)
afgestemd zou in principe moeten volstaan. Of misschien kan worden volstaan met een
aanduiding van de personele en financiële middelen en de aankondiging dat het systeem
later inhoudelijk zal worden ingevuld en/of beschreven.
De aanwezigheid – in de groep van zwakst scorende items - van een item behorend tot
dimensie 3 (de context), item 3.1.1 (de voornaamste gebruikers van de evaluatie en
hun verwachtingen/belang t.a.v. de evaluatie zijn duidelijk gedefinieerd) is vrij
verrassend, omdat vele items van dimensie 3 tot de groep van de best scorende
behoren. Dit kan worden verklaard vanuit de vaststelling dat item 3.1.1 in wezen een
activiteit is die deel uitmaakt van de toepassing van een goed monitoring systeem, zodat
zijn integratie onder component 2.2 (het M&E systeem in de praktijk) misschien wel
logischer was geweest16.
Verder is het belangrijk vast te stellen dat aan het definiëren van gebruikers van een
evaluatie en van hun verwachtingen/belang weinig aandacht wordt besteed. Dit is een
belangrijk gegeven vanuit het standpunt van evalueerbaarheid in de ruime zin (waarbij
we ook nut en bruikbaarheid van de evaluaties meenemen). Immers als aan dit punt
weinig aandacht wordt besteed, riskeert het draagvlak van een evaluatie te versmallen
en ook haar uiteindelijk nut. Eveneens vergroot de kans dat belangrijke stakeholders
niet op de juiste wijze (of helemaal niet) worden betrokken bij de evaluatie, wat op zijn
beurt belangrijke implicaties kan hebben voor de betrouwbaarheid van de evaluatiebevindingen (wat alle criteria betreft).
De aanwezigheid van 2.1.9 (De informatie m.b.t. de opvolging van interne risico's is
beschikbaar en eventuele gevolgen voor de interventielogica en interventie-uitvoering
zijn aangeduid) en 2.1.10 (De informatie m.b.t. de opvolging van assumpties is
beschikbaar en eventuele gevolgen voor de interventielogica en interventie-uitvoering
zijn aangeduid) op de lijst leert ons dat, blijkbaar, de verantwoordelijken van de
interventies het niet belangrijk vinden om goed te rapporteren over de opvolging van
assumpties en interne risico’s en de eventuele gevolgen van die opvolging voor de
interventielogica en –uitvoering. De zwakke scores m.b.t. deze items verklaren ook de
zwakke score van item 1.4.2 (Er is informatie beschikbaar over de visie en meningen
van de voornaamste betrokkenen partijen m.b.t. de eventuele veranderingen in
interventielogica en veranderingstheorie): immers als er weinig informatie wordt gedeeld
m.b.t. wijzigingen in de interventielogica en –uitvoering (als gevolg van de opvolging
van risico’s en assumpties), zal er ook weinig worden geïnformeerd rond de visie van de
betrokken partijen m.b.t. deze veranderingen.
We vermoeden dat de zwakke scores voor deze items kunnen verklaard worden vanuit
het feit dat men rond deze punten niet of slechts fragmentair moet rapporteren.
Gesprekken met de verantwoordelijken van interventies hebben geleerd dat de praktijk
op dit vlak sterk varieert. In een aantal interventies is de opvolging van assumpties en
risico’s goed ingebed in de M&E praktijk, in andere gebeurt die opvolging sporadisch, in
nog andere helemaal niet. Vanuit het perspectief van evalueerbaarheid is deze
informatie belangrijk, vooral omdat ze kan/moet leiden tot aanpassingen in de
interventielogica en –uitvoering, die de basis vormen voor de beoordeling van o.m. de
effectiviteit en efficiëntie van de interventies.
Een in onze ogen erg belangrijke vaststelling is gerelateerd aan de zwakke score voor
2.2.10 (Er hebben evaluaties en/of studies plaatsgevonden die van goede kwaliteit zijn
en nuttige informatie aanleveren – overeenkomstig wat we mochten verwachten). Deze
zwakke score duidt op een beperkte evaluatie- en studiepraktijk (in tegenstelling tot
operationele monitoring die in toenemende mate goed is uitgewerkt), waardoor nieuwe
evaluaties met name m.b.t. de ‘moeilijke’ DAC criteria niet kunnen terugvallen op eerder
uitgevoerde analyses. Belangrijk om hier te vermelden is dat het onderzoeksteam als
16
De integratie van dit item onder component 3.1 (de houding van de sleutelactoren) gebeurde vanuit de
overweging dat het in eerste instantie nodig is de voornaamste toekomstige gebruikers van een evaluatie te
kennen alvorens men hun houding t.a.v. een onafhankelijke evaluatie kan analyseren. Verder kan worden
opgemerkt dat een eventuele integratie van dit item in 2.2 het reeds grote verschil in score tussen enerzijds
dimensie 3 en anderzijds de beide andere dimensies nog zou hebben vergroot.
85
uitgangspunt voor de beoordeling is uitgegaan van wat men, gezien het
uitvoeringsniveau van de interventie redelijkerwijs mocht verwachten op het vlak van
studies en evaluaties. De zwakke score op deze item suggereert dat meer aandacht
nodig is voor ‘evalueren’, wat waarschijnlijk moet beginnen met een betere uitwerking
van het evaluatieluik in het M&E beleid.
De vijf laatste items van de tabel hebben alle slechts met één van de vijf DAC criteria te
maken. Drie van hen illustreren de uitdagingen om de evalueerbaarheid van impact te
vergroten: 1.2.4 (kritieke en cruciale schakels in de ketting worden geïdentificeerd en
kunnen worden getest), 1.3.1 (de voornaamste beoogde resultaten van de interventie
zijn goed geoperationaliseerd) en 2.1.5 (de te verwachten informatie is beschikbaar
m.b.t. de voortgang van de realisatie van de interventiedoelen). Hun zwakke score is
een illustratie van de beperkte aandacht voor het impactniveau die eerder reeds werd
gesignaleerd. De lage score van 1.3.4 voor het criterium duurzaamheid (de werkwijze
om het bereiken van de interventieresultaten en hun duurzaamheid op te volgen en te
evalueren is duidelijk beschreven) vormt een illustratie van het tekort aan aandacht voor
duurzaamheid bij de uitwerking (en uitvoering?) van een M&E systeem.
Tabel A3 3: Overzicht van de zwakst scorende items qua evalueerbaarheid
Item
2.1.3 Er is baseline informatie
voor de indicatoren (consistent
aan de interventielogica) m.b.t.
de counterfactual
1.3.9 De wijze waarop het M&E
systeem van de interventie zich
afstemt/verhoudt tot het
nationale/lokale M&E systeem is
duidelijk beschreven
1.3.2 Waar nodig/relevant zijn
de indicatoren sekse-specifiek
en/of uitgesplitst naar andere
relevante parameters
1.3.6 De werkwijze om de
interne risico's op te volgen is
2.1.4 Er is baseline informatie
voorhanden waarbij de relevante
indicatoren sekse-specifiek en/of
naar andere relevante
parameters zijn uitgesplitst
1.3.5 De werkwijze om de
assumpties op te volgen is
3.1.1 De voornaamste gebruikers
van de evaluatie en hun
verwachtingen/belang t.a.v. de
evaluatie zijn duidelijk
gedefinieerd
2.1.10 De informatie m.b.t. de
opvolging van assumpties is
beschikbaar en eventuele
gevolgen voor de interventielogica en interventie-uitvoering
zijn aangeduid
1.1.5 Genderanalyse is een
integraal deel van de
onderliggende analyse
1.3.7 De personele en financiële
middelen van het M&E systeem
zijn duidelijk beschreven
2.1.9 De informatie m.b.t. de
opvolging van interne risico's is
Relevantie
Effectiviteit
Efficiëntie
Impact
1,28
1,28
1,44
1,29
1,32
1,69
1,63
1,57
1,57
1,61
1,82
1,81
1,34
1,63
1,65
1,80
1,85
1,45
1,68
1,70
1,76
1,86
1,51
1,85
1,85
1,90
1,55
2,36
2,36
2,21
2,37
2,40
2,40
1,57
1,70
1,71
1,82
1,79
2,36
2,27
2,33
2,60
2,45
2,37
2,40
2,40
2,40
Duurzaam- Evalueerbaarheid
heidsindex
2,40
2,54
86
Item
beschikbaar en eventuele
gevolgen voor de
interventielogica en interventieuitvoering zijn aangeduid
2.2.10 Er hebben evaluaties
en/of studies plaatsgevonden die
van goede kwaliteit zijn en
nuttige informatie aanleveren
(overeenkomstig wat we
mochten verwachten)
1.4.2 Er is informatie
beschikbaar over de visie en
meningen van de voornaamste
betrokkenen partijen m.b.t. de
eventuele veranderingen in
interventielogica en
veranderingstheorie
2.2.6 Het M&E systeem van de
interventie is afgestemd op het
nationale/lokale M&E systeem
1.2.4 Kritieke en cruciale
schakels in de ketting worden
geïdentificeerd en kunnen
worden getest
1.3.4 De werkwijze om het
bereiken van de interventieresultaten en hun duurzaamheid
op te volgen en te evalueren is
1.3.1 De voornaamste beoogde
resultaten van de interventie zijn
goed geoperationaliseerd
2.1.5 (De te verwachten)
informatie is beschikbaar m.b.t.
de voortgang van de realisatie
van de interventiedoelen
Relevantie
Effectiviteit
Efficiëntie
Impact
2,67
Duurzaam- Evalueerbaarheid
heidsindex
2,58
2,61
2,43
2,60
1,87
2,62
1,83
1,69
4. Correlaties
Voor de volledigheid en ter info worden tot slot nog enkele correlaties gepresenteerd.
Deze resultaten werden niet specifiek verwerkt in de verdere analyse gezien de
uitkomsten weinig nieuwe informatie aanleverden voor de interpretatie van de andere
studieresultaten. Er werd gekozen voor een eenzijdige test omdat de hypothese is dat
er een positieve relatie zal zijn tussen de scores van dimensie 1 en dimensie 2. Dit geldt
eveneens voor de relaties tussen de andere dimensies en de correlaties tussen de
verschillende DAC-criteria. Er wordt dus steeds een eenzijdige test gebruikt. Een extra
controle met een andere test voor correlaties (Pearson’s r in plaatsvan Spearman’s rho)
bleek erop te wijzen dat beide testen zeer gelijkaardig resultaten genereerden. Bijgevolg
zijn alle berekende correlaties Spearman’s rho (one-tailed). Significante correlaties
worden aangegeven d.mv. *** (significant op α=0,01), ** (significant op α=0,05) en *
(significant op α=0,10).
4.1 Correlaties tussen de verschillende dimensies van het studiekader
Tabel A4 1: Correlaties tussen dimensie 1 en dimensie 2 - Spearman’s rho
(one-tailed test)
87
Dimensie 2
Dimensie 1
Relevantie
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.651***
(0.000)
Effectiviteit
0.658***
(0.000)
Efficiëntie
0.451***
(0.002)
Impact
0.576***
(0.000)
Duurzaamheid
0.808***
(0.000)
Tabel A4 2: Correlaties tussen domein 1 en domein 3 - Spearman’s rho (onetailed test)
Effectiviteit Efficiëntie Impact
Duurzaamheid
Dimensie 3 Relevantie
Dimensie 1
Relevantie
Effectiviteit
Efficiëntie
0.217*
(0.089)
0.230*
(0.077)
0.007
(0.483)
Impact
Duurzaamheid
0.228*
(0.079)
0.263*
(0.050)
Table A4 3: Correlaties tussen dimensie 2 en dimensie 3 - Spearman’s rho (onetailed test)
Dimensie 3
Relevantie
Duurzaamheid
Dimensie 2
0.314**
Relevantie
(0.024)
0.320**
Effectiviteit
(0.022)
0.199
Efficiëntie
(0.109)
0.371**
Impact
(0.009)
0.316**
Duurzaamheid
(0.024)
4.2 Correlaties tussen de verschillende DAC criteria
Globaal
Tabel A4 4: Correlaties tussen de verschillende DAC-criteria op globaal-niveau
(Spearman’s rho, one-tailed test)
Relevantie
Duurzaamheid
Relevantie
0.855***
0.773***
0.696***
0.784***
(0.000)
(0.000)
(0.000)
(0.000)
Effectiviteit
0.855***
0.846***
0.626***
0.703***
88
Efficiëntie
Impact
Duurzaamheid
(0.000)
0.773***
(0.000)
0.696***
(0.000)
0.784***
(0.000)
(0.000)
0.846***
(0.000)
0.626***
(0.000)
0.703***
(0.000)
0.484***
(0.001)
0.592***
(0.000)
(0.000)
0.484***
(0.001)
(0.000)
0.592***
(0.000)
0.770***
(0.000)
0.770***
(0.000)
Op dimensie-niveau
Tabel A4 5: Correlaties tussen de verschillende DAC voor dimensie 1
Dimensie 1
Relevantie
Duurzaamheid
Relevantie
0.832***
0.565***
0.476***
0.576***
(0.000
(0.000)
(0.001)
(0.000)
Effectiviteit
0.832***
0.687***
0.467***
0.606***
(0.000)
(0.000)
(0.001)
(0.000)
Efficiëntie
0.565***
0.687***
0.167
0.334**
(0.000)
(0.000)
(0.151)
(0.018)
Impact
0.476***
0.467***
0.167
0.529***
(0.001)
(0.001)
(0.151)
(0.000)
Duurzaamheid
0.576***
0.606***
0.334**
0.529***
(0.000)
(0.000)
(0.018)
(0.000)
Dimensie 2
Relevantie
Duurzaamheid
Relevantie
0.864***
0.665***
0.766***
0.743***
(0.000)
(0.000)
(0.000)
(0.000)
Effectiviteit
0.864***
0.691***
0.691***
0.683***
(0.000)
(0.000)
(0.000)
(0.000)
Efficiëntie
0.665***
0.691***
0.454***
0.489***
(0.000)
(0.000)
(0.002)
(0.001)
Impact
0.766***
0.691***
0.454***
0.777***
(0.000)
(0.000)
(0.002)
(0.000)
Duurzaamheid
0.743***
0.683***
0.489***
0.777***
(0.000)
(0.000)
(0.001)
(0.000)
Dimensie 3
Relevantie
Duurzaamheid
Relevantie
0.956***
0.956***
0.968***
0.991***
(0.000)
(0.000)
(0.000)
(0.000)
Effectiviteit
0.956***
1.000***
0.931***
0.955***
(0.000)
(0.000)
(0.000)
Efficiëntie
0.956***
1.000***
0.931***
0.955***
(0.000)
(0.002)
(0.001)
Impact
0.968***
0.931***
0.931***
0.969***
(0.000)
(0.000)
(0.002)
(0.000)
Duurzaamheid
0.991***
0.955***
0.955***
0.969***
(0.000)
(0.000)
(0.001)
(0.000)
Op component-niveau
Tabel A4 8
Component 1.1 Relevantie
Relevantie
Effectiviteit
Effectiviteit
0.978***
(0.000)
0.978***
89
(0.000)
Tabel A4 9
Component 1.2
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 10
Component
1.3
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 11
Component
1.5
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 12
Component
2.1
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 13
Component
2.2
Effectiviteit
0.437***
(0.002)
0.392***
(0.006)
0.376***
(0.008)
Relevantie
Efficiëntie
0.437***
(0.002)
-0.078
(0.316)
0.070
(0.333)
Impact
0.392***
(0.006)
-0.078
(0.316)
Duurzaamheid
0.376***
(0.008)
0.070
(0.333)
0.495***
(0.001)
0.495***
(0.001)
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.708***
(0.000)
0.640***
(0.000)
0.933***
(0.000)
0.455***
(0.002)
0.366**
(0.010)
0.213*
(0.094)
0.803***
(0.000)
0.693***
(0.000)
0.617***
(0.000)
0.425***
(0.003)
0.708***
(0.000)
0.640***
(0.000)
0.455***
(0.002)
0.803***
(0.000)
0.933***
(0.000)
0.366**
(0.010)
0.693***
(0.000)
0.213*
(0.094)
0.617***
(0.000)
0.425***
(0.003)
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.975***
(0.000)
0.975***
(0.000)
1.000***
0.870***
(0.001)
0.837***
(0.001)
0.837***
(0.001)
0.975***
(0.000)
1.000***
0.975***
(0.000)
0.975***
(0.000)
0.870***
(0.001)
0.975***
(0.000)
Relevantie
1.000***
1.000***
0.837***
(0.001)
1.000***
0.837***
(0.001)
1.000***
0.837***
(0.001)
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.827***
(0.000)
0.582***
(0.000)
0.460***
(0.001)
0.582***
(0.000)
0.441***
(0.002)
0.250*
(0.060)
0.561***
(0.000)
0.588***
(0.000)
0.244*
(0.067)
0.638***
(0.000)
0.837***
(0.001)
0.827***
(0.000)
0.582***
(0.000)
0.582***
(0.000)
0.561***
(0.000)
0.460***
(0.001)
0.441***
(0.002)
0.588***
(0.000)
0.250*
(0.060)
0.244*
(0.067)
0.638***
(0.000)
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
90
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 14
Component
3.1
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Tabel A4 15
Component
3.2
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.842***
(0.000)
0.718***
(0.000)
0.830***
(0.000)
0.792***
(0.000)
0.715***
(0.000)
0.591***
(0.000)
0.841***
(0.000)
0.731***
(0.000)
0.675***
(0.000)
0.867***
(0.000)
0.842***
(0.000)
0.718***
(0.000)
0.792***
(0.000)
0.841***
(0.000)
0.830***
(0.000)
0.715***
(0.000)
0.731***
(0.000)
0.591***
(0.000)
0.675***
(0.000)
0.867***
(0.000)
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.959***
(0.000)
0.959***
(0.000)
1.000***
0.860***
(0.000)
0.829***
(0.000)
0.829***
(0.000)
0.924***
(0.000)
0.888***
(0.000)
0.888***
(0.000)
0.927***
(0.000)
0.959***
(0.000)
0.959***
(0.000)
0.860***
(0.000)
0.924***
(0.000)
Relevantie
0.903***
(0.000)
0.903***
(0.000)
1.000***
(0.000)
0.992***
(0.000)
1.000***
0.829***
(0.000)
0.888***
(0.000)
0.829***
(0.000)
0.888***
(0.000)
0.927***
(0.000)
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
0.903***
(0.000)
0.903***
(0.000)
1.000***
1.000***
0.992***
(0.000)
0.905***
(0.000)
0.905***
(0.000)
0.992***
(0.000)
1.000***
0.903***
(0.000)
0.905***
(0.000)
0.903***
(0.000)
0.905***
(0.000)
0.903***
(0.000)
0.903***
(0.000)
0.992***
(0.000)
91
Bijlage 8: Overzicht Gemiddelde Scores en Evalueerbaarheidsindex
Tabel 1: Voornaamste resultaten m.b.t. de onderliggende analyse............................................................................................ 92
Tabel 2: Voornaamste resultaten m.b.t. het interventielogica en de veranderingstheorie ......................................................... 94
Tabel 3: Voornaamste resultaten m.b.t. het voorgestelde M&E systeem ................................................................................... 97
Tabel 4: Voornaamste resultaten m.b.t. consistentie en adaptatie van de interventielogica en de veranderingstheorie ......... 101
Tabel 5: Voornaamste resultaten m.b.t. basisinformatie m.b.t. de interventieuitvoering ........................................................ 102
Tabel 6: Met M&E systeem in de praktijk ................................................................................................................................. 109
Tabel 7: Bevindingen m.b.t. de houding van de sleutelactoren ................................................................................................ 115
Tabel 8: Overzicht van de bevindingen m.b.t. de bredere context ........................................................................................... 118
Tabel 1: Voornaamste resultaten m.b.t. de onderliggende analyse
Item
Relevantie
Effectiviteit
1.1. De onderliggende analyse
1.1.1 De doelgroepen zijn duidelijk
afgebakend en beschreven
Score: 3,65
Score: 3,48
De karakteristieken van de doelgroepen zijn in detail
beschreven en eenduidig afgebakend voor 15% van de
interventies, de doelgroepen zijn goed beschreven en
eenduidig afgebakend voor 38%, goed beschreven
maar niet eenduidig afgebakend voor 30%, vaag
beschreven en niet afgebakend voor 15% en niet
beschreven voor 3% van de interventies.
Score: 3,60
Score: 3,50
De karakteristieken van de doelgroepen
zijn in detail beschreven en eenduidig
afgebakend voor 15% van de
interventies, de doelgroepen zijn goed
beschreven en eenduidig afgebakend
voor 38%, goed beschreven maar niet
eenduidig afgebakend voor 30%, vaag
beschreven en niet afgebakend voor
18% van de interventies.
1.1.2. De rationale van de interventie en
de (probleem)situatie van de doelgroep
zijn duidelijk beschreven
Score: 3,85
Voor 38% van de interventies worden de rationale van
de interventie en de probleem(situatie) van de
Score: 3,63
Score: 3,49
Score: 3,85
92
Item
1.1.3. De rol van de doelgroep(en) is
Relevantie
doelgroep duidelijk en in detail beschreven, voor 25%
worden de rationale van de interventie en de probleem(situatie) van de doelgroep duidelijk beschreven. Voor
25% wordt de rationale van de interventie duidelijk beschreven, maar de (probleem)situatie van de doelgroep vaag, voor 10% worden de rationale van de interventie en de (probleem)situatie van de doelgroep
vaag beschreven en voor 3% worden de rationale van
de interventie en de (probleem)situatie van de
doelgroep niet beschreven.
Score: 3,60
De rol van de doelgroep(en) is duidelijk beschreven
voor 40% van de interventies, vaag beschreven voor
50% van de interventies en niet beschreven voor 10%
van de interventies.
1.1.4. De rol van de voornaamste
betrokken actoren (exclusief doelgroep)
is duidelijk
Score: 3,50
Voor 37% van de (38) interventies zijn de voornaamste
betrokken actoren en hun toegewezen rol duidelijk
omschreven, voor 53% zijn de voornaamste betrokken
actoren beschreven, maar hun toegewezen rol is niet
geheel duidelijk en voor 11% zijn de voornaamste
betrokken actoren niet beschreven.
1.1.5. Genderanalyse is een integraal
deel van de onderliggende analyse
Score: 2,40
Voor 18% van de interventies vormt de gender analyse
een integraal deel van de onderliggende analyse, voor
35% wordt de specifieke situatie van mannen en vrouwen in de doelgroep beschreven, maar is er niet echt
sprake van een genderanalyse en voor 48% wordt de
specifieke situatie van mannen en vrouwen in de
doelgroep niet beschreven in de onderliggende analyse.
1.1.6. De band tussen de onderliggende
analyse en de interventiedoelen is
Score: 4,00
De band tussen de onderliggende analyse en de interventiedoelen is duidelijk en systematisch beschreven
voor 58% van de interventies, vaag beschreven voor
35% en niet beschreven voor 8% van de interventies.
Score: 4,08
De band tussen de rationale van de interventie en het
sectorbeleid van het partnerland is duidelijk en systematisch beschreven voor 65% van de interventies,
1.1.7. De band tussen de rationale van
de interventie en het sectorbeleid van het
partnerland is duidelijk beschreven
Effectiviteit
Score: 3,55
De rol van de doelgroep(en) is duidelijk
beschreven voor 38% van de
interventies, vaag beschreven voor 53%
van de interventies en niet beschreven
voor 10% van de interventies.
Score: 3,45
Voor 34% van de (38) interventies zijn
de voornaamste betrokken actoren en
hun toegewezen rol duidelijk
omschreven, voor 55% zijn de
voornaamste betrokken actoren
beschreven, maar hun toegewezen rol is
niet geheel duidelijk en voor 11% zijn de
voornaamste betrokken actoren niet
beschreven.
Score: 2,40
Voor 18% van de interventies vormt de
gender analyse een integraal deel van
de onderliggende analyse, voor 35%
wordt de specifieke situatie van mannen
en vrouwen in de doelgroep beschreven,
maar is er niet echt sprake van een
genderanalyse en voor 48% wordt de
specifieke situatie van mannen en
vrouwen in de doelgroep niet
beschreven in de onderliggende analyse.
Score: 3,58
Score: 3,47
Score: 2,40
Score: 4,00
Score: 4,08
93
Item
Relevantie
Effectiviteit
vaag beschreven voor 25% van de interventies en niet
beschreven voor 10% van de interventies.
Item
Tabel 2: Voornaamste resultaten m.b.t. het interventielogica en de veranderingstheorie
Relevantie
Effectiviteit
Efficiëntie
Impact
1.2 De
veranderingstheorie
1.2.1 Er is een
duidelijk en correct
onderscheid tussen
outputs, outcomes
en impact
Score: 3,0
1.2.2 De
veranderingstheorie
vanaf inputs tot
outcomes en de
uiteindelijke impact
is duidelijk
uitgewerkt
Score: 3,35
28% van de interventies
heeft de
veranderingstheorie tot
op het niveau van
outcomes duidelijk
uitgewerkt, 63% heeft de
op dat niveau deels
duidelijk uitgewerkt, 10%
heeft de
niveau van outcomes niet
duidelijk uitgewerkt.
1.2.3 De
veranderingstheorie
is logisch en
realistisch
Score: 4,15
De veranderingstheorie
(tot het outcomeniveau)
is logisch en realistisch
Score: 3,50
Score: 3,65
maakt een duidelijk en
correct onderscheid
tussen outputs en
outcomes, 28% maakt
een duidelijk onderscheid
tussen outputs en
outcomes maar dit
onderscheid is niet
correct, 20% maakt geen
onderscheid tussen
outputs en outcomes.
Score: 4,40
(tot het outputniveau) is
logisch en realistisch voor
Score: 2,10
Score: 2,65
maakt een duidelijk en
correct onderscheid
tussen outcomes en
impact, 18% maakt een
duidelijk onderscheid
tussen outcomes en
impact maar dit is niet
correct, 50% maakt geen
onderscheid tussen
outcomes en impact.
Score: 1,90
5% van interventies
heeft de
op het niveau van impact
duidelijk uitgewerkt,
35% heeft de
op dat niveau deels
duidelijk uitgewerkt,
60% heeft de
op het niveau van impact
niet duidelijk uitgewerkt.
Score: 3,20
(tot het impactniveau) is
logisch en realistisch
Duurzaamheid
Score: 3,23
Score: 2.96
Score: 3.15
Score: 2.63
Score: 3.92
94
Item
1.2.4 Kritische en
cruciale schakels in
de ketting worden
geïdentificeerd en
kunnen worden
getest
Relevantie
Effectiviteit
Efficiëntie
Impact
voor 60% van de
interventies, is logisch
maar niet realistisch voor
38% van de interventies ,
is niet logisch en niet
realistisch voor 3% van
de interventies.
70% van de interventies,
is logisch maar niet
de interventies.
Score: 3,08
Voor 30% van de
interventies worden
kritieke en cruciale
schakels in de ketting (tot
het outcome niveau)
geïdentificeerd welke
relatief gemakkelijk
getest kunnen worden,
voor 43% worden kritieke
en cruciale schakels in de
ketting geïdentificeerd
maar deze kunnen
moeilijk worden getest,
voor 28% worden geen
schakels geïdentificeerd.
Score: 3,35
Voor 43% van de
interventies worden
schakels in de ketting (tot
het output niveau)
relatief gemakkelijk getest
kunnen worden, voor 33%
worden kritieke en cruciale
schakels in de ketting
geïdentificeerd maar deze
kunnen moeilijk worden
getest, voor 25% worden
geen kritieke en cruciale
voor 33% van de
interventies, is logisch
maar niet realistisch voor
is niet logisch en niet
de interventies.
Score: 1,87
Voor 8% van de (39)
interventies worden
schakels in de ketting
(tot het impact niveau)
relatief gemakkelijk
getest getest kunnen
worden, voor 28%
worden kritieke en cruciale schakels in de
ketting geïdentificeerd
maar deze kunnen
moeilijk worden getest,
voor 64% worden geen
1.2.5 De
veranderingstheorie
omvat concrete
maatregelen die de
duurzaamheid van
de baten van de
interventie moeten
waarborgen
1.2.6 Interne
Score: 3,03
Score: 3,13
Duurzaamheid
Score: 2.77
Score: 3,50
40% van de interventies omvat
concrete
maatregelen om de
duurzaamheid te
waarborgen op het
niveau van inputs
en outputs, 45%
omvat concrete
maatregelen op het
niveau van inputs of
outputs, 15% omvat
geen concrete
maatregelen.
Score: 2,83
Score: 3.50
Score: 2.99
95
Item
Relevantie
risico´s zijn
duidelijk
aangegeven en
onderzocht/
ingeschat
1.2.7 Externe
assumpties zijn
duidelijk
aangegeven en
onderzocht/
ingeschat
Score: 2,80
Externe
assumpties
zijn duidelijk
aangegeven
en onderzocht voor
18% van de
interventies,
duidelijk
aangegeven
maar niet
verder
onderzocht
voor 55%
van de
interventies,
niet duidelijk
aangegeven
en niet
onderzocht
voor 28%
van de
interventies.
Effectiviteit
Efficiëntie
Interne risico´s (tot
outcome niveau) zijn
duidelijk aangegeven en
onderzocht voor 33% van
de interventies, duidelijk
aangegeven maar niet
verder onderzocht voor
niet duidelijk aangegeven
en niet onderzocht voor
Interne risico´s (tot
output niveau) zijn
Score: 3,13
Externe assumpties (tot
outcome niveau) zijn
Score: 3,23
output niveau) zijn
1.2.8 De toewijzing
Score: 3,64
Impact
Score: 2,15
impact niveau) zijn
onderzocht voor 10%
van de interventies,
duidelijk aangegeven
maar niet verder
onderzocht voor 38%
van de interventies, niet
niet onderzocht voor
Duurzaamheid
Interne risico´s
(gerelateerd aan
duurzaamheid) zijn
duidelijk
aangegeven en
onderzocht voor
28% van de
interventies,
duidelijk
aangegeven maar
niet verder
onderzocht voor
35% van de
interventies, niet
duidelijk aangegeven en niet
onderzocht voor
38% van de
interventies.
Score: 2,93
Externe assumpties
(gerelateerd aan
duurzaamheid) zijn
duidelijk
aangegeven en
onderzocht voor
18% van de
interventies,
duidelijk
aangegeven maar
niet verder
onderzocht voor
60% van de
interventies, niet
duidelijk
aangegeven en niet
onderzocht voor
23% van de
interventies.
Score: 2.85
Score: 3.64
96
Item
Relevantie
Effectiviteit
van de voorziene
middelen aan de
outputs is duidelijk
Efficiëntie
Impact
Duurzaamheid
Score: 2,51
Alle interventies omvatten
informatie met betrekking
tot de voorziene middelen.
Voor 59% van de (39)
interventies is de toewijzing van alle directe
middelen aan de outputs
duidelijk en voor 8% er is
ook een toewijzing van
inputs van andere stakeholders aan de outputs,
voor 23% is de toewijzing
van een deel van de
voorziene directe middelen
aan de outputs duidelijk,
voor 10 % is de toewijzing
van de voorziene middelen
aan de outputs helemaal
niet duidelijk.
Tabel 3: Voornaamste resultaten m.b.t. het voorgestelde M&E systeem
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
1.3 Het voorgestelde M&E
systeem
1.3.1 De
voornaamste
beoogde resultaten
van de interventie
zijn goed
geoperationaliseerd
Score: 2,45
Score: 2,83
Score: 2,85
Score: 1,95
Score: 2,46
Score: 3,15
In 18% van de
interventies zijn de
beoogde resultaten
helemaal niet geoperationaliseerd, in 8% is
dat gedeeltelijk gebeurd
maar niet op basis van
goede indicatoren; in
33% van de
interventies zijn alle
voornaamste resultaten
geoperationaliseerd,
maar minder dan de
helft op basis van goede
indicatoren; in 28% van
de gevallen is dit het
geval voor meer dan de
helft van de indicatoren;
in 15% van de
Score: 3,65
In slechts 3% van de
beoogde resultaten
28% van de
voornaamste resultaten
geoperationaliseerd,
maar minder dan de
helft op basis van goede
indicatoren; in 33% van
de gevallen is dit het
geval voor meer dan de
helft van de indicatoren;
in 25% van de
Score: 1,83
In 65% van de
beoogde resultaten
zijn alle voornaamste
resultaten geoperationaliseerd, maar minder
dan de helft op basis
van goede indicatoren;
in slechts 5% van de
gevallen is dit het geval
voor meer dan de helft
van de indicatoren; in
10% van de
Score: 2,72
In 28% van de
beoogde resultaten
dat gedeeltelijk
gebeurd maar niet op
basis van goede
indicatoren; in 28%
van de interventies
zijn alle voornaamste
resultaten geoperationaliseerd, maar
minder dan de helft op
basis van goede
indicatoren; in 21%
van de gevallen is dit
het geval voor meer
dan de helft van de
Score: 2,84
97
Item
Relevantie
1.3.2 Waar
nodig/relevant zijn
de indicatoren
sekse-specifiek
en/of uitgesplitst
naar andere
relevante
parameters
1.3.3 Het
voorgestelde M&E
systeem bevat een
consistente
vertaling van de
onderliggende
veranderingstheorie
1.3.4 De werkwijze
om het bereiken
van de interventieresultaten en hun
duurzaamheid op te
volgen en te
evalueren is
duidelijk
beschreven
Score: 3,00
In 35% van de
interventies wordt
helemaal geen systeem voorgesteld, in
30% van de
interventies is dit wel
het geval maar is de
vertaling van de
onderliggende
interventielogica niet
goed gebeurd; in
35% van de interventies is dit wel
het geval.
Score: 2,70
In 28% van de
interventies is deze
werkwijze niet
beschreven; in 20%
is de beschrijving
onduidelijk en/of
onvolledig (bv.
alleen voor opvolging
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
interventies tenslotte
zijn alle resultaten
geoperationaliseerd op
basis van goede
indicatoren.
basis van goede
indicatoren.
basis van goede
indicatoren.
Score: 1,82
62% van de
interventies hebben
waar nodig/ relevant de
indicatoren niet uitgesplitst, 9% van de
interventies heeft dit
gedaan voor minder dan
de helft van de indicatoren, 21% voor ongeveer
de helft van de
relevante indicatoren,
3% voor meer dan de
helft en slechts 6% voor
alle relevante
indicatoren.
Score: 3,45
In 20% van de
interventies wordt
helemaal geen systeem
voorgesteld, in 38% van
de interventies is dit
wel het geval maar is de
vertaling van de onderliggende interventielogica niet goed gebeurd; in 43% van de
het geval.
Score: 1,81
62% van de
interventies hebben
indicatoren niet uitgesplitst, 14% van de
projekten heeft dit
de helft van de
relevante indicatoren,
3% voor meer dan de
helft en slechts 8% voor
alle relevante
indicatoren.
Score: 3,65
In 15% van de
interventies wordt
het geval.
Score: 1,34
86% van de
interventies hebben
indicatoren niet
uitgesplitst, 6% van de
interventies heeft dit
de helft van de
relevante indicatoren en
slechts 6% voor alle
relevante indicatoren.
indicatoren; in 10%
van de interventies
tenslotte zijn alle
resultaten geoperationaliseerd op basis van
goede indicatoren.
Score: 1,63
73% van de
interventies hebben
waar nodig/ relevant
de indicatoren niet
uitgesplitst, 10% van
de interventies heeft
dit gedaan voor
minder dan de helft
van de indicatoren,
3% voor ongeveer de
helft van de relevante
indicatoren, 7% voor
meer dan de helft en
slechts 6% voor alle
relevante indicatoren.
Score: 2,69
In 44% van de
interventies wordt
helemaal geen
systeem voorgesteld,
in 28% van de
het geval maar is de
vertaling van de
onderliggende
interventielogica niet
goed gebeurd; in 28%
van de interventies is
dit wel het geval.
Score: 3,15
In 15% van de
werkwijze niet
beschreven; in 18% is
de beschrijving
onduidelijk en/of
onvolledig (bv. alleen
voor opvolging of voor
Score: 3,28
In 15% van de
werkwijze niet
de beschrijving
onduidelijk en/of
Score: 2,13
In de helft van de interventies is deze
werkwijze niet
de beschrijving
onduidelijk en/of
Score: 2,30
In 55% van de
interventies wordt
het geval.
Score: 2,62
In 35% van de
werkwijze niet
de beschrijving
onduidelijk en/of
Score: 1,65
Score: 3,02
Score: 2,78
98
Item
1.3.5 De werkwijze
om de assumpties
op te volgen is
duidelijk
beschreven
1.3.6 De werkwijze
om de interne
risico's op te volgen
is duidelijk
beschreven
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
of voor evaluatie); in
20% van de gevallen
is de beschrijving
duidelijk maar
onvolledig; in
nogmaals 20% van
de gevallen zijn
opvolging als
evaluatie
beschreven, maar
niet geheel duidelijk;
in slechts 13% van
de gevallen tenslotte
is de beschrijving
zowel voor opvolging
als evaluatie
duidelijk.
Score: 1,85
In 70% van de
gevallen is deze
werkwijze niet
beschreven; in 18%
van de interventies
is dat wel het geval
maar is de werkwijze
niet geheel duidelijk,
terwijl in slechts
13% van de gevallen
de werkwijze
is.
Score: 1,70
In 73% van de
veallen is van een
beschrijving van de
interne risico’s geen
sprake, bij 18% van
de interventies is
die niet geheel
duidelijk, en in 13%
van de interventies
is dat wel het geval.
evaluatie); in 20% van
de gevallen is de
beschrijving duidelijk
maar onvolledig; in 33%
van de gevallen zijn
opvolging als evaluatie
beschreven, maar niet
geheel duidelijk; in
slechts 15% van de
gevallen tenslotte is de
beschrijving zowel voor
duidelijk.
de gevallen is de
slechts 18% van de
duidelijk.
de gevallen is de
slechts 5% van de
duidelijk.
de gevallen is de
maar onvolledig; in
24% van de gevallen
zijn opvolging als
evaluatie beschreven,
maar niet geheel
duidelijk; in 11% van
de gevallen tenslotte is
de beschrijving zowel
voor opvolging als
evaluatie duidelijk.
Score: 1,85
In 70% van de gevallen
is deze werkwijze niet
beschreven; in 18% van
de interventies is dat
werkwijze niet geheel
duidelijk, terwijl in
slechts 13% van de
gevallen de werkwijze
duidelijk beschreven is.
Score: 1,90
slechts 13% van de
Score: 1,55
slechts 8% van de
Score: 1,82
In 72% van de
gevallen is deze
werkwijze niet
beschreven; in 15%
dat wel het geval maar
is de werkwijze niet
geheel duidelijk,
terwijl in slechts 13%
van de gevallen de
werkwijze duidelijk
beschreven is.
Score: 1,79
Score: 1,80
In 70% van de veallen is
van een beschrijving
van de interne risico’s
geen sprake, bij 20%
die niet geheel duidelijk,
en in 10% van de interventies is dat wel het
geval.
Score: 1,85
geval.
Score: 1,45
geval.
Score: 1,68
In 74% van de veallen
is van een beschrijving
die niet geheel
duidelijk, en in 8% van
wel het geval.
Score: 1,70
1.3.7 De personele
en financiële
middelen van het
M&E systeem zijn
Score: 2,40
In 35% van de
middelen van het M&E
Score: 2,40
99
Item
Relevantie
Effectiviteit
duidelijk
beschreven
1.3.8 Het
voorgestelde MIS
laat een toewijzing
van uitgaven aan
specifieke outputs
en interventiecomponenten toe
1.3.9 De wijze
waarop het M&E
systeem van de
interventie zich
afstemt/verhoudt
tot het nationale/
lokale M&E systeem
is duidelijk
bechreven
Score: 1,57
In 80% van de
gevallen is de wijze
van afstemming niet
beschreven en is er
evenmin een verantwoording gegeven
waarom dit niet is
gebeurd; in 11% van
de gevallen is er
enige aanduiding in
dit verband, terwijl
slechts in 9% van de
gevallen er sprake is
van een duidelijke
beschrijving van de
wijze van
afstemming of van
duidelijke vermelding van de reden
Score: 1,69
is de wijze van
afstemming niet
beschreven en is er
evenmin een verantwoording gegeven waarom dit niet is gebeurd;
gevallen is er enige
aanduiding in dit verband, terwijl eveneens
in 11% van de gevallen
er sprake is van een
duidelijke beschrijving
van de wijze van
afstemming of van
duidelijke vermelding
van de reden waarom
dit niet is gebeurd.
Efficiëntie
systemen niet beschreven; in 25% is er
een onduidelijke
beschrijving van de
personele of financiële
middelen; in 15% van
de interventies zijn die
middelen beschreven
maar niet echt duidelijk;
in 15% van de
interventies zijn de personele of financiële
middelen duidelijk
beschreven en in 10%
dit voor beide het geval.
Score: 3,67
In 26% van de
interventies is dit
helemaal niet het geval,
in 15% van de projecten
laat de informatie geen
goede toewijzing toe,
terwijl dit wel het geval
is in 59% van de
interventies.
Score: 1,63
is de wijze van
afstemming niet
beschreven en is er
gevallen is er enige aanduiding in dit verband,
terwijl in 11% van de
van een duidelijke
beschrijving van de
wijze van afstemming of
van duidelijke vermelding van de reden waarom dit niet is gebeurd.
Impact
Duurzaamheid
Score: 3,67
Score: 1,57
is de wijze van
afstemming niet
beschreven en is er
is er enige aanduiding in
dit verband, terwijl
slechts in 9% van de
van een duidelijke
beschrijving van de
wijze van afstemming of
van duidelijke vermelding van de reden waarom dit niet is gebeurd.
Score: 1,60
In 80% van de
gevallen is de wijze
van afstemming niet
beschreven en is er
evenmin een verantwoording gegeven
waarom dit niet is
gebeurd; in 11% van
de gevallen is er enige
aanduiding in dit verband, terwijl slechts in
9% van de gevallen er
sprake is van een
duidelijke beschrijving
van de wijze van
afstemming of van
duidelijke vermelding
van de reden waarom
Score: 1,62
100
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
waarom dit niet is
gebeurd.
Tabel 4: Voornaamste resultaten m.b.t. consistentie en adaptatie van de interventielogica en de veranderingstheorie
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
1.4 Consistentie en
adaptatie van de
de
veranderingstheorie
1.4.1 Eventuele in
onderliggende
veranderingstheorie
zijn duidelijk
aangegeven en
beargumenteerd
Score: 3,55
Score: 3,44
Score: 3,52
Score: 3,50
Score: 3,75
Score: 4,27
Van de interventies (11)
met veranderingen in de
interventielogica heeft
73% dit aangegeven en
goed beargumenteerd,
18% heeft dit
aangegeven, maar niet
beargumenteerd en 9%
heeft dit niet
aangegeven.
Score: 4,00
Van de interventies
(16) met
veranderingen in de
interventielogica (tot
outcome niveau) heeft
63% dit aangegeven
en goed beargumenteerd, 25%
heeft dit aangegeven,
maar niet
beargumenteerd en
13% heeft dit niet
aangegeven.
Score: 3,76
Van de interventies
(21) met
veranderingen in de
output niveau) heeft
52% dit aangegeven
maar niet
beargumenteerd en
14% heeft dit niet
aangegeven.
Score: 4,20
Van de interventies
(10) met
veranderingen in de
impact niveau) heeft
70% dit aangegeven
maar niet
beargumenteerd en
10% heeft dit niet
aangegeven.
Score: 4,17
Van de interventies
(12) met
veranderingen in de
interventielogica
(gerelateerd aan
duurzaamheid) heeft
67% dit aangegeven
en goed
beargumenteerd, 25%
maar niet
beargumenteerd; 8%
heeft dit niet
aangegeven.
Score: 4,03
1.4.2 Er is
informatie
beschikbaar over
de visie en
meningen van de
voornaamste
betrokkenen
partijen m.b.t. de
eventuele
veranderingen in
veranderingstheorie
Score: 2,82
Informatie over de visie
en meningen van de
voornaamste betrokken
partijen m.b.t. de
eventuele
veranderingen in
veranderingstheorie is
volledig aanwezig voor
27% van de (11)
interventies, gedeeltelijk
aanwezig voor 36% van
de interventies en niet
Score: 2,63
Informatie over de
visie en meningen van
de voornaamste
betrokken partijen
m.b.t. de eventuele
veranderingen in
veranderingstheorie
(tot outcome niveau)
is volledig aanwezig
voor 19% van de (16)
interventies,
gedeeltelijk aanwezig
Score: 2,43
Informatie over de
de voornaamste
betrokken partijen
m.b.t. de eventuele
veranderingen in
veranderingstheorie
(tot output niveau) is
14% van de (21)
interventies,
Score: 2,80
Informatie over de
de voornaamste
betrokken partijen
m.b.t. de eventuele
veranderingen in
veranderingstheorie
(tot impact niveau) is
30% van de (10)
interventies,
Score: 2,67
Informatie over de
de voornaamste
betrokken partijen
m.b.t. de eventuele
veranderingen in
veranderingstheorie
(gerelateerd aan duurzaamheid) is volledig
aanwezig voor 25%
van de (12) interventies, gedeeltelijk
Score: 2,63
Score: 3,54
101
Item
1.4.3 Eventueel
veranderingen in
veranderingstheorie
zijn op adequate
manier verwerkt in
het M&E systeem
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
beschikbaar voor 36%
voor 44% van de
interventies en niet
voor 43% van de
voor 30% van de
aanwezig voor 33%
van de interventies en
niet beschikbaar voor
42% van de
interventies.
Score: 3,18
Eventuele
veranderingen in de
veranderingstheorie zijn
op adequate manier
verwerkt in het M&E
systeem van 45% van
de (11) interventies,
verwerkt maar niet
adequaat in het M&E
systeem van 18% van
verwerkt in het M&E
systeem van 36% van
de interventies.
Score: 3,25
Eventuele
veranderingen in de
veranderingstheorie
(tot outcome niveau)
zijn op adequate
manier verwerkt in het
M&E systeem van
44% van de (16)
interventies, verwerkt
maar niet adequaat in
het M&E systeem van
25% van de interventies en niet
verwerkt in het M&E
systeem van 31% van
de interventies.
Score: 3,10
Eventuele
veranderingen in de
veranderingstheorie
(tot output niveau)
zijn op adequate
M&E systeem van
38% van de (21)
het M&E systeem van
verwerkt in het M&E
systeem van 33% van
de interventies.
Score: 3,00
Eventuele
veranderingen in de
veranderingstheorie
(tot impact niveau)
zijn op adequate
M&E systeem van
40% van de (10)
het M&E systeem van
verwerkt in het M&E
systeem van 40% van
de interventies.
Score: 3,33
Eventuele
veranderingen in de
veranderingstheorie
(gerelateerd aan
duurzaamheid) zijn op
adequate manier verwerkt in het M&E systeem van 50% van de
(12) interventies,
verwerkt maar niet
adequaat in het M&E
systeem van 17% van
verwerkt in het M&E
systeem van 33% van
de interventies.
Tabel 5: Voornaamste resultaten m.b.t. basisinformatie m.b.t. de interventieuitvoering
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
2.1. Basisinformatie m.b.t. de
interventie-uitvoering
2.1.1. De basisdocumenten
zijn beschikbaar
Duurzaamheid
Score: 2,95
Score: 3,20
Score: 3,53
Score: 2,13
Score: 2,62
Score: 4,03
Voor 56% van de
(39) interventies zijn
alle te verwachten
documenten
beschikbaar (inclusief een baseline)
binnen de
afgesproken termijn,
voor 10% zijn alle te
verwachten
documenten
Score: 4,05
Voor 58% van de
interventies zijn
alle te verwachten
documenten
beschikbaar
(inclusief een
baseline) binnen
de afgesproken
termijn, voor 10%
zijn alle te
verwachten docu-
Score: 4,13
Voor 60% van de
interventies zijn
alle te verwachten
documenten
beschikbaar
(inclusief een
baseline) binnen de
afgesproken
termijn, voor 10%
zijn alle te
verwachten
Score: 3,73
Voor 50% van de
te verwachten
documenten
beschikbaar
(inclusief een
baseline) binnen de
verwachten
Score: 3,95
Voor 56% van de
(39) interventies
zijn alle te
verwachten
documenten
beschikbaar
(inclusief een
baseline) binnen
de afgesproken
termijn, voor 10%
Score: 3,17
Evalueerbaardheids
index
Score: 2,88
Score: 3,97
102
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
beschikbaar (inclusief een baseline)
maar niet binnen de
verwachten
documenten
beschikbaar met
uitzondering van een
baseline studie, voor
15% is het interventievoorstel of
laatste
voortgangsrapport
niet beschikbaar en
voor 3% zijn twee of
meer van de te
verwachten
documenten niet
beschikbaar.
menten beschikbaar (inclusief een
baseline) maar
niet binnen de
afgesproken
termijn, voor 15%
zijn alle te verwachten
documenten
beschikbaar met
uitzondering van
een baseline
studie, voor 15%
is het interventievoorstel of laatste
voortgangsrapport
niet beschikbaar
en voor 3% zijn
twee of meer van
de te verwachten
documenten niet
beschikbaar.
documenten
beschikbaar
(inclusief een
baseline) maar niet
binnen de
afgesproken
termijn, voor 13%
zijn alle te
verwachten
documenten
beschikbaar met
uitzondering van
een baseline studie
en voor 18% is het
interventievoorstel
of laatste
voortgangsrapport
niet beschikbaar.
documenten
beschikbaar
(inclusief een
baseline) maar niet
binnen de
verwachten
documenten
beschikbaar met
uitzondering van een
baseline studie, voor
13% is het
interventievoorstel of
laatste
voortgangsrapport
niet beschikbaar en
voor 13% zijn twee
of meer van de te
verwachten
documenten niet
beschikbaar.
zijn alle te
verwachten documenten beschikbaar (inclusief een
baseline) maar
niet binnen de
afgesproken
termijn, voor 13%
zijn alle te
verwachten documenten beschikbaar met
uitzondering van
een baseline
studie, voor 13%
is het interventievoorstel of laatste
voortgangsrapport
niet beschikbaar
en voor 8% zijn
twee of meer van
de te verwachten
documenten niet
beschikbaar.
Score: 3,50
Voor 48% van de
interventies is er
voor alle relevante
(outcome)
indicatoren
baseline
informatie voor de
doelgroep
aanwezig, voor
30% is er voor
enkele relevante
indicatoren
baseline
informatie
aanwezig en voor
Score: 3,90
Voor 58% van de
interventies is er
voor alle relevante
(output)
indicatoren
baseline informatie
voor de doelgroep
aanwezig, voor
30% is er voor
enkele relevante
indicatoren
baseline informatie
aanwezig en voor
13% is er geen
baseline informatie
Score: 2,45
Voor 28% van de
interventies is er
voor alle relevante
(impact) indicatoren
baseline informatie
voor de doelgroep
aanwezig, voor 18%
is er voor enkele
relevante indicatoren
baseline informatie
aanwezig en voor
55% is er geen
baseline informatie
Score: 2,84
Voor 37% van de
(38) interventies
is er voor alle
relevante (duurzaamheid
gerelateerde)
indicatoren
baseline informatie voor de
doelgroep
aanwezig, voor
18% is er voor
enkele relevante
2.1.2. Er is baseline
informatie m.b.t. de
doelgroep beschikbaar
Evalueerbaardheids
index
Score: 3,18
103
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
23% is er geen
baseline
informatie voor de
doelgroep
aanwezig.
voor de doelgroep
aanwezig.
voor de doelgroep
aanwezig.
informatie voor de indicatoren
m.b.t. de counterfactual
beschikbaar
Score: 1,28
Voor 3% van de
(36) interventies
is er voor alle
relevante (outcome) indicatoren
baseline
informatie (voor
counterfactual
aanwezig, voor
8% is er voor
enkele relevante
indicatoren
baseline informatie aanwezig
en voor 89% is er
geen baseline
informatie voor
counterfactual
aanwezig.
Score: 1,28
Voor 3% van de
(36) interventies is
er voor alle
relevante (output)
indicatoren
baseline informatie
voor counterfactual
aanwezig, voor 8%
is er voor enkele
relevante indicatoren baseline
informatie
aanwezig en voor
89% is er geen
baseline informatie
voor counterfactual
aanwezig.
Score: 1,44
Voor 8% van de (36)
interventies is er
voor alle relevante
baseline informatie
voor counterfactual
aanwezig, voor 6%
is er voor enkele
baseline informatie
aanwezig en voor
86% is er geen
baseline informatie
voor counterfactual
aanwezig
indicatoren
baseline
informatie aanwezig en voor
45% is er geen
baseline
informatie voor de
doelgroep
aanwezig.
Score: 1,29
Voor 6% van de
(34) interventies
is er voor alle
relevante (duurzaamheid
gerelateerde) indicatoren baseline
informatie voor
counterfactual
aanwezig, voor
3% is er voor
enkele relevante
indicatoren
baseline
informatie
aanwezig en voor
91% is er geen
baseline informatie voor
counterfactual
aanwezig.
informatie voorhanden
waarbij de relevante
indicatoren sekse-specifiek
en/of naar andere relevante
parameters zijn uitgesplitst
Score: 1,76
Voor 9% van de
(34) interventies
is er voor alle
relevante
(outcome)
indicatoren
baseline
informatie die
Score: 1,86
Voor 9% van de
er voor alle
relevante (output)
indicatoren
baseline informatie
die sekse-specifiek
is uitgesplitst, voor
Score: 1,51
Voor 9% van de (35)
interventies is er
voor alle relevante
baseline informatie
die sekse-specifiek is
uitgesplitst, voor 9%
Evalueerbaardheids
index
Score: 1,32
Score: 1,71
104
Item
Relevantie
2.1.5. De te verwachten info
is beschikbaar m.b.t. de
voortgang van de realisatie
van de interventiedoelen
Effectiviteit
Efficiëntie
Impact
sekse-specifiek is
uitgesplitst, voor
21% is er voor
enkele relevante
indicatoren
baseline informatie die seksespecifiek
uitgesplitst en
voor 71% is de
baseline informatie niet
uitgesplitst.
Score: 3,37
Voor 39% van de
(38) interventies
is er voor alle
interventiedoelen
informatie m.b.t.
de voortgang (tot
het niveau van
outcome), is er
een vergelijking
gemaakt met de
beginsituatie en
planning en
worden de
redenen van
eventuele
afwijking
besproken, voor
11% is er voor
alle interventiedoelen informatie
m.b.t. de
voortgang en is er
een vergelijking
gemaakt met de
beginsituatie en
planning, voor
21% is er voor
alle
interventiedoelen
informatie m.b.t.
de voortgang,
26% is er voor enkele relevante
indicatoren
baseline informatie
die sekse-specifiek
is uitgesplitst en
voor 66% is de
baseline informatie
niet uitgesplitst.
is er voor enkele
baseline informatie
die sekse-specifiek is
uitgesplitst en voor
83% is de baseline
informatie niet
uitgesplitst.
Score: 3,93
Voor 53% van de
interventies is er
voor alle
interventiedoelen
informatie m.b.t.
de voortgang (tot
het niveau van
output), is er een
vergelijking
gemaakt met de
beginsituatie en
planning en worden
de redenen van
eventuele afwijking
besproken, voor
18% is er voor alle
interventiedoelen
informatie m.b.t.
de voortgang en is
er een vergelijking
gemaakt met de
beginsituatie en
planning, voor 13%
is er voor alle
interventiedoelen
informatie m.b.t.
de voortgang, voor
5% is er voor
enkele interventiedoelen informatie
m.b.t. de
Score: 1,69
Voor 6% van de (35)
interventies is er
voor alle
interventiedoelen
voortgang (tot het
niveau van impact),
is er een vergelijking
gemaakt met de
beginsituatie en
planning en worden
de redenen van
eventuele afwijking
besproken, voor 6%
is er voor alle interventiedoelen
voortgang en is er
een vergelijking
gemaakt met de
beginsituatie en
planning, voor 11%
is er voor alle
interventiedoelen
voortgang, voor 6%
is er voor enkele
interventiedoelen
Duurzaamheid
Evalueerbaardheids
index
Score: 3,04
105
Item
Relevantie
2.1.6. Er is informatie
beschikbaar over de
participatie van de
oorspronkelijke doelgroep
Score: 3,26
Voor 32% van de
er volledige
informatie over wie
effectief wordt
bereikt in
vergelijking met de
oorspronkelijke
doelgroep, voor 50%
is er enige informatie
en voor 18% is er
geen informatie.
2.1.7. Er is informatie ter
beschikking m.b.t. de
gegevensverzameling van de
indicatoren
Score: 2,73
Voor 10% van de
er voor elke indicator
duidelijk aangegeven
hoe, door wie, met
welke frequentie en
de coverage van de
gegevens die worden
verzameld, voor
23% is er vrij
volledige informatie
m.b.t. de gegevensverzameling van de
indicatoren, voor
27% is er redelijk
wat informatie, voor
10% is er enkel
fragmentaire
informatie en voor
Effectiviteit
Efficiëntie
Impact
voor 5% is er voor
enkele interventiedoelen
informatie m.b.t.
de voortgang en
voor 24% is er
geen informatie
m.b.t. de
voortgang
Score: 3,31
Voor 33% van de
(39) interventies
is er volledige
informatie over
wie effectief wordt
bereikt in
vergelijking met
de oorspronkelijke
doelgroep, voor
49% is er enige
informatie en voor
18% is er geen
informatie.
voortgang en voor
13% is er geen
informatie m.b.t.
de voortgang.
voortgang en voor
71% is er geen
voortgang.
Score: 3,41
Voor 33% van de
er volledige
informatie over wie
effectief wordt
bereikt in
vergelijking met de
oorspronkelijke
doelgroep, voor
54% is er enige
informatie en voor
13% is er geen
informatie.
Score: 2,84
Voor 26% van de
er volledige
informatie over wie
effectief wordt
bereikt in
vergelijking met de
oorspronkelijke
doelgroep, voor 39%
is er enige informatie
en voor 34% is er
geen informatie.
Score: 3,08
Voor 15% van de
interventies is er
voor elke
(outcome)
indicator duidelijk
aangegeven hoe,
door wie, met
welke frequentie
en de coverage
van de gegevens
die worden
verzameld, voor
30% is er vrij
volledige
informatie m.b.t.
de
gegevensverzamel
ing van de
indicatoren, voor
Score: 3,28
Voor 15% van de
interventies is er
voor elke (output)
indicator duidelijk
aangegeven hoe,
door wie, met
welke frequentie en
de coverage van de
gegevens die
worden verzameld,
voor 33% is er vrij
m.b.t. de
gegevensverzameling van de
indicatoren, voor
25% is er redelijk
wat informatie,
voor 20% is er
Score: 2,28
Voor 3% van de (39)
interventies is er
voor elke (impact)
indicator duidelijk
aangegeven hoe,
door wie, met welke
frequentie en de
coverage van de
gegevens die worden
verzameld, voor
21% is er vrij
m.b.t. de
gegevensverzamelin
g van de indicatoren,
voor 23% is er
redelijk wat
Duurzaamheid
Evalueerbaardheids
index
Score: 3,11
Voor 30% van de
(37) interventies
is er volledige
informatie over
wie effectief wordt
bereikt in
vergelijking met
de oorspronkelijke
doelgroep, voor
46% is er enige
informatie en voor
24% is er geen
informatie.
Score: 2,69
Voor 8% van de
(39) interventies
is er voor elke
(duurzaamheid
gerelateerde)
indicator duidelijk
aangegeven hoe,
door wie, met
welke frequentie
en de coverage
van de gegevens
die worden
verzameld, voor
26% is er vrij volledige informatie
m.b.t. de
gegevensverzamel
Score: 3,19
Score: 2,82
106
Item
2.1.8. De
gegevensverzameling laat in
principe betrouwbare
verzameling m.b.t. de
indicatoren toe
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
30% is er geen
enkele informatie
beschikbaar.
20% is er redelijk
wat informatie,
voor 18% is er
enkel fragmentaire informatie en
voor 18% is er
geen enkele
informatie
beschikbaar.
enkel fragmentaire
informatie en voor
8% is er geen
enkele informatie
beschikbaar.
informatie, voor
10% is er enkel
fragmentaire
informatie en voor
44% is er geen
enkele informatie
beschikbaar.
Score: 3,00
De
gegevensverzamelin
g is voor 29% van
de (24) interventies
zeer betrouwbaar,
voor 42%
betrouwbaar en voor
29% zeer
onbetrouwbaar.
Score: 3,12
De
gegevensverzamel
ing (tot het niveau
van outcome) is
voor 33% van de
(33) interventies
zeer betrouwbaar,
voor 39%
betrouwbaar en
voor 27% zeer
onbetrouwbaar.
Score: 3,44
De
gegevensverzameling (tot het niveau
van output) is voor
38% van de (34)
interventies zeer
betrouwbaar, voor
47% betrouwbaar
en voor 15% zeer
onbetrouwbaar.
Score: 2,52
De
gegevensverzamelin
g (tot het niveau van
impact) is voor 17%
van de (29)
interventies zeer
betrouwbaar, voor
41% betrouwbaar en
voor 41% zeer
onbetrouwbaar.
Score: 2,40
Voor 25% van de
interventies wordt
de opvolging van
de interne risico´s
(tot het niveau
van outcome)
beschreven en de
gevolgen hiervan
toegelicht, voor
20% wordt de
opvolging
beschreven
zonder de
gevolgen hiervan
toe te lichten en
voor 55% is er
geen informatie
over interne
Score: 2,75
Voor 33% van de
interventies wordt
de opvolging van
de interne risico´s
(tot het niveau van
output) beschreven
en de gevolgen
hiervan toegelicht,
voor 23% wordt de
opvolging
beschreven zonder
de gevolgen
hiervan toe te
lichten en voor
45% is er geen
informatie over
interne risico´s en
de opvolging
Score: 2,13
Voor 20% van de
(30) interventies
wordt de opvolging
van de interne
risico´s (tot het
niveau van impact)
beschreven en de
gevolgen hiervan
toegelicht, voor 17%
wordt de opvolging
beschreven zonder
de gevolgen hiervan
toe te lichten en
voor 63% is er geen
informatie over
interne risico´s en
ing van de
indicatoren, voor
23% is er redelijk
wat informatie,
voor 15% is er
enkel fragmentaire
informatie en voor
28% is er geen
enkele informatie
beschikbaar.
Score: 3,00
De verzameling
van
(duurzaamheid
gerelateerde)
gegevens is voor
26% van de (27)
interventies zeer
betrouwbaar, voor
48% betrouwbaar
en voor 26% zeer
onbetrouwbaar.
Score: 2,83
Voor 34% van de
(29) interventies
wordt de
opvolging van de
(duurzaamheid
gerelateerde)
interne risico´s
beschreven en de
gevolgen hiervan
toegelicht, voor
24% wordt de
opvolging
beschreven
zonder de
gevolgen hiervan
toe te lichten en
2.1.9. De informatie m.b.t. de
opvolging van de interne
risico’s is beschikbaar en de
eventuele gevolgen voor de
interventielogica en uitvoering
zijn aangeduid
Evalueerbaardheids
index
Score: 3,03
Score: 2,53
107
Item
2.1.10. De informatie m.b.t.
de opvolging van de
assumpties is beschikbaar en
de eventuele gevolgen voor
de interventielogica en
uitvoering zijn aangeduid
Relevantie
Score: 2,21
Voor 21% van de
(38) interventies
wordt de opvolging
van de (externe)
assumpties
beschreven en de
gevolgen hiervan
wordt de opvolging
beschreven zonder
de gevolgen hiervan
toe te lichten en
voor 61% is er geen
informatie over
(externe) assumpties
en de opvolging
hiervan.
2.1.11. De interventieuitgaven zijn goed
gedocumenteerd/geregistreer
d en kunnen aan de outputs
toegewezen worden
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
risico´s en de
opvolging hiervan.
hiervan.
de opvolging
hiervan.
Score: 2,37
Voor 21% van de
(38) interventies
wordt de
opvolging van de
(externe)
assumpties (tot
het niveau van
outcome)
beschreven en de
gevolgen hiervan
toegelicht, voor
26% wordt de
opvolging
beschreven
zonder de
gevolgen hiervan
toe te lichten en
voor 53% is er
geen informatie
over (externe)
assumpties en de
opvolging hiervan.
Score: 2,63
Voor 25% van de
interventies wordt
de opvolging van
de (externe)
assumpties (tot het
niveau van output)
beschreven en de
gevolgen hiervan
toegelicht, voor
30% wordt de
opvolging
beschreven zonder
de gevolgen
hiervan toe te
lichten en voor
45% is er geen
informatie over
(externe)
assumpties en de
opvolging hiervan.
Score: 2,20
Voor 20% van de
(30) interventies
wordt de opvolging
van de (externe)
assumpties (tot het
niveau van impact)
beschreven en de
gevolgen hiervan
wordt de opvolging
beschreven zonder
de gevolgen hiervan
toe te lichten en
voor 60% is er geen
informatie over
(externe) assumpties
en de opvolging
hiervan.
voor 41% is er
geen informatie
over interne
risico´s en de
opvolging hiervan.
Score: 2,45
Voor 24% van de
(29) interventies
wordt de
opvolging van de
(duurzaamheid
gerelateerde)
(externe)
assumpties
beschreven en de
gevolgen hiervan
toegelicht, voor
24% wordt de
opvolging
beschreven
zonder de
gevolgen hiervan
toe te lichten en
voor 52% is er
geen informatie
over (externe)
assumpties en de
opvolging hiervan.
Score: 3,95
Voor 42% van de
er goede
rapportage van de
uitgaven die goed
aan de outputs
worden toegewezen en
eventuele afwijkingen worden
goed toegelicht (er
zijn geen uitgaven
die elders staan
Evalueerbaardheids
index
Score: 2,38
Score: 3,95
108
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
Evalueerbaardheids
index
geregistreerd),
voor 32% is er
goede rapportage
van de uitgaven die
goed aan de
outputs worden
toegewezen (er zijn
geen uitgaven die
elders staan
geregistreerd),
voor 13% is er
goede rapportage
van de uitgaven die
echter slecht of
niet aan de outputs
worden
toegewezen (er zijn
uitgaven die elders
geregistreerd
staan), voor 5% is
er enkel informatie
beschikbaar m.b.t.
de grote uitgave
categorieën en
voor 8% is er
slechts heel
algemeen
informatie over de
interventieuitgaven
.
Tabel 6: Met M&E systeem in de praktijk
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
2.2 Het M&E systeem
in de praktijk
2.2.1 De visie over en
de rol van monitoring
en evaluaties (M&E en
onafhankelijke
evaluaties) zijn
duidelijk
Score: 3,03
Score: 3,30
Score: 3,50
Score: 2,53
Score: 2,85
Score: 3,23
zijn visie/rol van
monitoring en
evaluatie niet uitgewerkt, in 18% van de
projekten zijn er
enkele elementen
maar zijn die
Score: 3,31
In 5% van de
gevallen zijn visie/rol
van monitoring en
projekten zijn er
enkele elementen
maar zijn die
Score: 2,90
In 21% van de
van monitoring en
projekten zijn er
enkele elementen
maar zijn die
Score: 2,73
In 27% van de
van monitoring en
projekten zijn er
enkele elementen
maar zijn die
Score: 3,04
Score: 3,05
109
Item
2.2.2 Er zijn
voldoende tijd,
middelen en personeel
voorzien voor de
adequate werking van
het M&E systeem
2.2.3 De
verantwoordelijkheden
en procedures m.b.t.
het verzamelen en
analyseren van M&E
gegevens zijn
duidelijk gedefinieerd
Relevantie
Score: 3,67
In 18% van de
interventies bleken de
middelen sterk
onvoldoende om het
M&E systeem goed te
laten werken, in 31%
van de gevallen was
dit het geval voor één
component (middelen,
tijd of personeel)
terwijl in iets meer
dan de helft van de
gevallen (51%) de
middelen voldoende
waren.
Score: 3,50
In 20% van de
interventies is het
geheel onduidelijk bij
wie de verantwoordelijkheid ligt voor M&E
(of bestaat de M&E
functie niet); in 35%
deze verantwoor-
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
onduidelijk en niet bij
elkaar gebracht in een
geheel. In 33% van
de gevallen zijn er
duidelijk verschillende
elementen maar
werden die niet
coherent bij elkaar
gebracht. In 26% van
de interventies
vonden we een grote
consensus rond dit
punt die ook in een
document was neergelegd, terwijl in 15%
dit document ook door
de sleutelactoren was
onderschreven.
elkaar gebracht in
een geheel. In 33%
er duidelijk
verschillende
elementen maar
werden die niet
coherent bij elkaar
gebracht. In 28%
van de interventies
vonden we een grote
consensus rond dit
punt die ook in een
document was neergelegd, terwijl in
15% dit document
ook door de
sleutelactoren was
onderschreven.
Score: 4,15
interventies bleken
de middelen sterk
onvoldoende om het
M&E systeem goed te
van de gevallen was
dit het geval voor
één component
(middelen, tijd of
personeel) terwijl in
60% van de gevallen
de middelen
voldoende waren.
elkaar gebracht in
een geheel. In 23%
er duidelijk
verschillende
elementen maar
werden die niet
coherent bij elkaar
gebracht. In 21%
van de interventies
vonden we een grote
consensus rond dit
punt die ook in een
15% dit document
ook door de
sleutelactoren was
onderschreven.
Score: 3,21
In 28% van de
interventies bleken
de middelen sterk
onvoldoende om het
M&E systeem goed te
van de gevallen was
dit het geval voor
één component
(middelen, tijd of
personeel) terwijl
slechts in 38% van
de interventies de
middelen voldoende
waren.
Score: 2,64
In 49% van de
interventies is het
(of bestaat de M&E
van de interventies
is deze verantwoor-
elkaar gebracht in
een geheel. In 22%
er duidelijk
verschillende
elementen maar
werden die niet
coherent bij elkaar
gebracht. In 19%
van de interventies
vonden we een grote
consensus rond dit
punt die ook in een
14% dit document
ook door de
sleutelactoren was
onderschreven.
Score: 3,63
In 16% van de
interventies bleken
de middelen sterk
onvoldoende om het
M&E systeem goed te
van de gevallen was
dit het geval voor
één component
(middelen, tijd of
personeel) terwijl
slechts in 47% van
de interventies de
middelen voldoende
waren.
Score: 3,41
In 23% van de
interventies is het
(of bestaat de M&E
van de interventies
is deze verantwoor-
Score: 3,87
In 10% van de
interventies bleken de
middelen sterk
onvoldoende om het
M&E systeem goed te
van de gevallen was
dit het geval voor één
component (middelen,
tijd of personeel)
terwijl in iets meer
dan de helft van de
gevallen (54%) de
middelen voldoende
waren.
Score: 3,85
In 13% van de
interventies is het
(of bestaat de M&E
deze verantwoor-
Score: 4,08
In 5% van de
interventies is het
(of bestaat de M&E
van de interventies
is deze verantwoor-
Score: 3,71
Score: 3,50
110
Item
2.2.4 De
verantwoordelijkheden
en procedures m.b.t.
besluitvorming op
basis van de analyse
van de M&E gegevens
zijn duidelijk
gedefinieerd
1.4.4 De voornaamste
betrokken partijen
waren het eens met
het voorgestelde M&E
systeem (inclusief hun
rol hierbinnen)
2.2.5 Het personeel
dat instaat voor M&E
is competent en
onafhankelijk
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
delijkheid fragmentarisch uitgewerkt, terwijl die in
45% van de
interventies duidelijk
is uitgewerkt en
vastgelegd.
Score: 3,62
Gelijkaardig aan het
vorige item, is deze
verantwoordelijkheid
in 23% van de
gevallen niet
vastgelegd (of bestaat
ze niet), is die
onduidelijk in 23%
van de gevallen, maar
goed uitgewerkt in
54% van de
interventies.
Score: 4,18
Slechts in 8% van de
voornaamste partijen
het op dit vlak
oneens. In 26% van
de gevallen was dit
het geval voor
sommige van die
partijen, terwijl er in
67% van de
interventies
eensgezindheid
bestond.
Score: 2,95
In 13% van de
interventies heeft het
personeel geen
specifieke ervaring en
competentie en is zijn
onafhankelijkheid
evenmin gewaarborgd
(of bestaat de M&E
van de gevallen is de
situatie mbt.
55% van de
is uitgewerkt en
vastgelegd.
Score: 3,75
Gelijkaardig aan het
vorige item, is deze
in 20% van de
gevallen niet
vastgelegd (of bestaat
ze niet), is die
onduidelijk in 23%
van de gevallen, maar
goed uitgewerkt in
58% van de
interventies.
Score: 4,20
voornaamste partijen
het op dit vlak
oneens. In 30% van
de gevallen was dit
het geval voor
sommige van die
partijen, terwijl er in
65% van de
interventies
eensgezindheid
bestond.
Score: 3,11
In 8% van de
personeel geen
competentie en is zijn
onafhankelijkheid
evenmin gewaarborgd
(of bestaat de M&E
situatie mbt.
59% van de
is uitgewerkt en
vastgelegd.
Score: 4,03
Deze
in slechts 13% van
de gevallen niet
vastgelegd (of
bestaat ze niet), in
23% van de gevallen
is die onduidelijk,
terwijl ze in 64% van
de interventies goed
is uitgewerkt.
31% van de
is uitgewerkt en
vastgelegd.
Score: 2,95
Deze
in 44% van de
gevallen niet vastgelegd (of bestaat ze
niet), in 15% van de
gevallen is die
onduidelijk, terwijl ze
in 41% van de
interventies goed is
uitgewerkt.
44% van de
is uitgewerkt en
vastgelegd.
Score: 3,56
Deze
in 28% van de
gevallen niet vastgelegd (of bestaat ze
niet), in 15% van de
gevallen is die
onduidelijk, terwijl ze
in 56% van de
interventies goed is
uitgewerkt.
Score: 4,33
gevallen is er sprake
van onenigheid
tussen de partijen. In
28% van de gevallen
was dit het geval
voor sommige van
die partijen, terwijl er
in 69% van de
interventies
eensgezindheid
bestond.
Score: 4,23
van onenigheid
28% van de gevallen
was dit het geval
voor sommige van
in 67% van de
interventies
eensgezindheid
bestond.
Score: 4,18
van onenigheid
26% van de gevallen
was dit het geval
voor sommige van
in 67% van de
interventies
eensgezindheid
bestond.
Score: 4,22
Score: 3,32
In 14% van de gevallen heeft het
personeel weinig
ervaring en een
zwakke competentie
en is het slechts in
beperkte mate
onafhankelijk m.b.t.
de M&E functie. In
43% van de
interventies kunnen
Score: 2,73
In 22% van de
personeel geen
competentie en is
zijn onafhankelijkheid
evenmin
gewaarborgd (of
bestaat de M&E
Score: 3,00
In 14% van de
personeel geen
competentie en is
zijn onafhankelijkheid
evenmin
gewaadborgd (of
bestaat de M&E
functie iet); in
eveneens 14% van
Score: 3,02
Score: 3,58
111
Item
2.2.6 Het M&E
systeem van de
interventie is
afgestemd op het
nationale/lokale M&E
systeem
2.2.7 Er is een interne
drive voor
strategische sturing
en leren
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
competentie en onafhankelijkheid iets
beter. In 37% van de
interventies kunnen
we spreken van een
matige ervaring en
competentie en een
redelijke
onafhankelijkheid,
terwijl dit in 32% van
de gevallen nog iets
beter ligt. In slechts
3% van de
interventies is het
M&E personeel
ervaren en competent
én is zijn
onafhankelijkheid
formeel vastgelegd.
interventies kunnen
we spreken van een
matige ervaring en
competentie en een
redelijke
onafhankelijkheid,
3% van de
interventies is het
M&E personeel
ervaren en competent
én is zijn
onafhankelijkheid
formeel vastgelegd.
we spreken van een
matige ervaring en
competentie en een
redelijke
onafhankelijkheid,
3% van de
interventies is het
M&E personeel
ervaren en
competent én is zijn
onafhankelijkheid
formeel vastgelegd.
situatie mbt.
interventies kunnen
we spreken van een
matige ervaring en
competentie en een
redelijke
onafhankelijkheid,
beter ligt. In geen
enkel interventie is
het M&E personeel
ervaren en
onafhankelijkheid
formeel vastgelegd.
Score: 2,59
In 56% van de
interventies is er van
zulke afstemming
geen sprake of wordt
niet geargumenteerd
waarom dit zo is. Bij
9% van de
interventies is dit tot
op zekere hoogte het
geval, terwijl bij 35%
van de interventies
het M&E systeem is
afgestemd of wordt
aangegeven waarom
Score: 3,72
interventies is
niemand
geïnteresseerd in de
M&E bevindingen; in
44% van de gevallen
is dit het geval bij
enkele van de
Score: 2,88
In 47% van de
zulke afstemming
niet geargumenteerd
12% van de
van de interventies
het M&E systeem is
afgestemd of wordt
aangegeven waarom
Score: 3,80
interventies is
niemand
M&E bevindingen; in
45% van de gevallen
enkele van de
Score: 3,12
In 41% van de
zulke afstemming
niet geargumenteerd
12% van de
van de interventies
het M&E systeem is
afgestemd of wordt
aangegeven waarom
Score: 3,90
interventies is
niemand
M&E bevindingen; in
45% van de gevallen
enkele van de
Score: 2,52
In 58% van de
zulke afstemming
niet geargumenteerd
9% van de
van de interventies
het M&E systeem is
afgestemd of wordt
aangegeven waarom
Score: 3,70
Slechts in 10% van
de interventies is
niemand
M&E bevindingen; in
45% van de gevallen
enkele van de
de gevallen is de
situatie mbt.
interventies kunnen
we spreken van een
matige ervaring en
competentie en een
redelijke
onafhankelijkheid,
5% van de
interventies is het
M&E personeel
ervaren en
onafhankelijkheid
formeel vastgelegd.
Score: 2,64
In 55% van de
zulke afstemming
niet geargumenteerd
9% van de
van de interventies
het M&E systeem is
afgestemd of wordt
aangegeven waarom
Score: 3,72
Slechts in 13% van
de interventies is
niemand
M&E bevindingen; in
38% van de gevallen
enkele van de
Score: 2,75
Score: 3,77
112
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
sleutelactoren, terwijl
er bij 46% van de
interventies op alle
niveaus een grote
motivatie aanwezig is
om de M&E resultaten
te gebruiken om
strategisch te sturen
en te leren.
er bij 48% van de
niveaus een grote
te gebruiken om
en te leren.
2.2.8 De resultaten
van M&E worden
gebruikt voor learning
Score: 3,05
interventies wordt
geen moeite gedaan
voor leerdoeleinden te
gebruiken (of bestaat
de M&E functie niet);
in 10% van de
gevallen is er slechts
een impliciet gebruik
van die resultaten
voor learning. In een
belangrijke 44% van
de cases is er veeleer
sprake van een ad
hoc gebruik, terwijl in
15% van de gevallen
een uitgewerkte
aanpak tot gebruik
van de M&E resultaten
voor learning is
gevonden, die
evenwel slechts in
15% ook is
doorgetrokken tot alle
sleutelactoren
(inclusief de
doelgroep).
Score: 3,08
interventies wordt
geen moeite gedaan
voor leerdoeleinden te
in 10% van de
gevallen is er slechts
een impliciet gebruik
van die resultaten
voor learning. In een
belangrijke 44% van
sprake van een ad
15% van de gevallen
een uitgewerkte
aanpak tot gebruik
van de M&E resultaten
voor learning is
gevonden, die
evenwel slechts in
15% ook is
doorgetrokken tot alle
sleutelactoren
(inclusief de
doelgroep).
er bij 50% van de
niveaus een grote
om de M&E
resultaten te
gebruiken om
en te leren.
Score: 3,30
Slechts in 10% van
de interventies
wordt geen moeite
gedaan om de M&E
resultaten voor
leerdoeleinden te
in eveneens 10% van
de gevallen is er
slechts een impliciet
gebruik van die resultaten voor learning.
In een belangrijke
40% van de cases is
er veeleer sprake van
een ad hoc gebruik,
gevallen een
uitgewerkte aanpak
tot gebruik van de
M&E resultaten voor
learning is gevonden,
die evenwel in 20%
ook is doorgetrokken
tot alle sleutelactoren
(inclusief de
doelgroep).
2.2.9 De resultaten
van M&E worden
gebruikt voor
accountability
Score: 3,23
In 15% van de
gevallen is er geen
gebruik van de M&E
resultaten voor
accountability, terwijl
Score: 3,40
In 10% van de
gevallen is er geen
gebruik van de M&E
resultaten voor
Score: 3,63
In 3% van de
gevallen is er geen
gebruik van de M&E
resultaten voor accountability, terwijl
er bij 45% van de
niveaus een grote
om de M&E
resultaten te
gebruiken om
en te leren.
Score: 2,93
In 23% van de
interventies wordt
geen moeite gedaan
om de M&E
resultaten voor leerdoeleinden te gebruiken (of bestaat de
M&E functie niet); in
8% van de gevallen
is er slechts een
impliciet gebruik van
die resultaten voor
learning. In een
belangrijke 40% van
sprake van een ad
15% van de gevallen
een uitgewerkte
aanpak tot gebruik
van de M&E
resultaten voor
die evenwel slechts in
15% ook is
doorgetrokken tot
alle sleutelactoren
(inclusief de
doelgroep).
Score: 2,95
In 25% van de
gevallen is er geen
gebruik van de M&E
resultaten voor
er bij 49% van de
niveaus een grote
om de M&E
resultaten te
gebruiken om
en te leren.
Score: 3,00
In 20% van de
interventies wordt
geen moeite gedaan
om de M&E
resultaten voor leerdoeleinden te gebruiken (of bestaat de
M&E functie niet); in
8% van de gevallen
is er slechts een
impliciet gebruik van
die resultaten voor
learning. In een
belangrijke 40% van
sprake van een ad
18% van de gevallen
een uitgewerkte
aanpak tot gebruik
van de M&E
resultaten voor
die evenwel slechts in
15% ook is
doorgetrokken tot
alle sleutelactoren
(inclusief de
doelgroep).
Score: 3,08
In 20% van de
gevallen is er geen
gebruik van de M&E
resultaten voor
Score: 3,07
Score: 3,26
113
Item
2.2.10 Er hebben
evaluaties en/of
studies
plaatsgevonden die
van goede kwaliteit
zijn en nuttige
informatie aanleveren
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
sprake is van een
impliciet gebruik. Bij
38% van de
interventies is dat
gebruik duidelijk maar
niet planmatig (ad
hoc), terwijl er sprake
is van een planmatig
gebruik in 35% van de
gevallen; slechts in
10% van de gevallen
is er echter ook
sprake van
accountability naar de
doelgroep toe.
sprake is van een
impliciet gebruik. Bij
35% van de
interventies is dat
gebruik duidelijk maar
niet planmatig (ad
hoc), terwijl er sprake
is van een planmatig
gebruik in 43% van
de gevallen; slechts in
10% van de gevallen
is er echter ook
sprake van
accountability naar de
doelgroep toe.
Score: 2,67
In 33% van de
interventies heeft er
geen enkele studie of
evaluatie plaatsgevonden, terwijl in
11% van de
interventies enkel
activiteiten met een
intern evaluatief
karakter
plaatsvonden. In 15%
is er sprake van
studieen/of onvolkomen evaluatiewerk
dat echter is (qua
methodologie,
middelen, …). In 37%
is er sprake van goede
studies of evaluates
met slechts kleine
onvolkomenheden,
gevallen degelijk
onafhankelijk studieof evaluatiewerk werd
uitgevoerd.
Score: 2,78
In 26% van de
15% van de
interventies enkel
intern evaluatief
karakter
plaatsvonden. In 19%
is er sprake van
studieen/of onvolkomen evaluatiewerk
dat echter is (qua
methodologie,
is er sprake van
goede studies of
evaluates met slechts
kleine onvolkomenheden, terwijl in 4%
van de gevallen
degelijk onafhankelijk
studieof evaluatiewerk werd uitgevoerd.
ook in 3% van de
gevallen sprake is
van een impliciet
gebruik. Bij 38% van
gebruik duidelijk
maar niet planmatig
(ad hoc), terwijl er
sprake is van een
planmatig gebruik in
45% van de
13% van de gevallen
is er echter ook
sprake van
accountability naar
de doelgroep toe.
Score: 2,75
In 25% van de
18% van de
interventies enkel
intern evaluatief
karakter
plaatsvonden. In
eveneens 18% is er
sprake van studieen/of onvolkomen
evaluatiewerk dat
echter is (qua
methodologie,
is er sprake van
goede studies of
kleine onvolkomenheden, terwijl in 4%
van de gevallen
studieof evaluatiewerk werd
uitgevoerd.
in 3% van de
gevallen sprake is
van een impliciet
gebruik duidelijk
maar niet planmatig
sprake is van een
28% van de
10% van de gevallen
is er echter ook
sprake van
accountability naar
de doelgroep toe.
Score: 2,22
In 48% van de
9% van de
interventies enkel
intern evaluatief
karakter
plaatsvonden. In
17% is er sprake van
studieen/of
onvolkomen
evaluatiewerk dat
echter is (qua
methodologie,
is er sprake van
goede studies of
kleine onvolkomenheden, terwijl in geen
enkel interventie
studieof evaluatiewerk op
impactniveau werd
uitgevoerd.
in 3% van de
gevallen sprake is
van een impliciet
gebruik duidelijk
maar niet planmatig
sprake is van een
30% van de
10% van de gevallen
is er echter ook
sprake van
accountability naar
de doelgroep toe.
Score: 2,58
In 38% van de
8% van de
interventies enkel
intern evaluatief
karakter
plaatsvonden. In
17% is er sprake van
studieen/of
onvolkomen
evaluatiewerk dat
echter is (qua
methodologie,
is er sprake van
goede studies of
kleine onvolkomenheden, terwijl slechts
in 4% degelijk
onafhankelijk studieof evaluatiewerk op
impactniveau werd
uitgevoerd.
Score: 2,61
114
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
2.2.11 Het M&E
systeem wordt
regelmatig op zijn
kwaliteit bekeken en
eventueel aangepast
Score: 2,74
In 44% van de
gevallen hebben we
geen spoor gevonden
van een tussentijdse
reflectie m.b.t. de
kwaliteit van het M&E
systeem; in 26% van
de interventies vond
zo’n reflectie en (zo
nodig) aanpassing
plaats, maar gebeurde
dit ad hoc, terwijl dit
in 31% van de
gevallen op
planmatige wijze
gebeurde.
Score: 2,90
In 40% van de
gevallen hebben we
geen spoor gevonden
reflectie m.b.t. de
systeem; in 25% van
nodig) aanpassing
plaats, maar gebeurde
dit ad hoc, terwijl dit
in 35% van de
gevallen op
planmatige wijze
gebeurde.
Score: 3,00
In 36% van de
gevallen hebben we
geen spoor gevonden
reflectie m.b.t. de
systeem; in 28% van
nodig) aanpassing
plaats, maar
gebeurde dit ad hoc,
de gevallen op
planmatige wijze
gebeurde.
Score: 2,80
In 43% van de
gevallen hebben we
geen spoor gevonden
reflectie m.b.t. de
systeem; in 25% van
nodig) aanpassing
plaats, maar
de gevallen op
planmatige wijze
gebeurde.
Score: 2,85
In 40% van de
gevallen hebben we
geen spoor gevonden
reflectie m.b.t. de
systeem; in 28% van
nodig) aanpassing
plaats, maar
de gevallen op
planmatige wijze
gebeurde.
Score: 2,86
Tabel 7: Bevindingen m.b.t. de houding van de sleutelactoren
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
3.1. Houding van de
sleutelactoren
3.1.1 De
voornaamste
gebruikers van de
evaluatie en hun
verwachtingen/belang
t.a.v. de evaluatie
zijn duidelijk
gedefinieerd
Score: 3,68
Score: 3,70
Score: 3,70
Score: 3,58
Score: 3,63
Score: 2,36
In 36% van de interventies zijn de voornaamste gebruikers en hun
verwachtingen/ houding t.a.v. een evaluatie niet gedefinieerd of onbekend.
In 59% van de projecten zijn de voornaamste gebruikers en hun
verwachtingen/belang t.a.v. de evaluatie gedocumenteerd, terwijl dit in
slechts 5% van de gevallen op een structurele, planmatige en
onderbouwde manier is gebeurd.
Score: 2,27
In 41% van de interventies zijn de voornaamste
gebruikers en hun verwachtingen/ houding t.a.v.
een evaluatie niet gedefinieerd of onbekend. In
55% van de projecten zijn de voornaamste
gebruikers en hun verwachtingen/belang t.a.v.
de evaluatie gedocumenteerd, terwijl dit in
slechts 5% van de gevallen op een structurele,
planmatige en onderbouwde manier is gebeurd.
Score: 3,66
Score: 2,33
115
3.1.2 De
sleutelactoren zijn
vragende partij voor
(of minstens
geïnteresseerd in)
een evaluatie
Score: 3,45
Bij 13% van de interventies is niemand van de sleutelactoren vragende
partij of minstens geïnteresseerd; in 53% van de interventies is de
meerderheid van die actoren minstens geïnteresseerd of vragende partij,
terwijl dit in 35% van de projecten voor alle actoren het geval is.
3.1.3 De
verwachtingen van de
sleutelactoren t.a.v.
de evaluatie (proces
en resultaten) zijn
onderling compatibel
Score: 4,11
In 8% van de interventies zijn er in dit verband
grote tegenstellingen tussen de actoren, in 14%
zijn er beheersbare tegenstellingen, terwijl er
kleinere tegenstellingen zijn in 30% van de
projecten. In 49% van de projecten hebben de
sleutelactoren onderling compatibele
verwachtingen.
3.1.4 De
verwachtingen van de
sleutelactoren t.a.v.
de evaluatie zijn
realistisch (tov
beschikbare
middelen)
Score: 4,32
In 14% van de
projecten hebben
meerdere sleutelactoren onrealistische
verwachtingen, terwijl
niet alle sleutelactoren
realistische
verwachtingen hebben; in 82% van de
projecten is dit wel het
geval.
Score: 4,23
In 15% van de
projecten hebben
realistische
geval.
Score: 4,19
In 5% van de
interventies zijn er in
dit verband grote
tegenstellingen tussen
de actoren, in 14% zijn
er beheersbare tegenstellingen, terwijl er
kleinere tegenstellingen zijn in 32%
van de projecten. In
49% van de projecten
hebben de sleutelactoren onderling
compatibele
verwachtingen.
Score: 4,49
In 10% van de
projecten hebben
realistische
geval.
Score: 3,40
Bij 15% van de
interventies is niemand
van de sleutelactoren
vragende partij of
minstens
geïnteresseerd; in
50% van de
interventies is de
meerderheid van die
actoren minstens
geïnteresseerd of
vragende partij, terwijl
dit in 35% van de
projecten voor alle
actoren het geval is.
Score: 4,11
In 8% van de
dit verband grote
compatibele
verwachtingen.
Score: 4,11
In 18% van de
projecten hebben
realistische
geval.
Score: 3,45
Bij 13% van de
interventies is niemand
van de sleutelactoren
vragende partij of
minstens
geïnteresseerd; in
53% van de
interventies is de
meerderheid van die
actoren minstens
geïnteresseerd of
vragende partij, terwijl
dit in 35% van de
projecten voor alle
actoren het geval is.
Score: 4,16
In 5% van de
dit verband grote
compatibele
verwachtingen.
Score: 4,32
In 11% van de
projecten hebben
in 13% van de
projecten niet alle
sleutelactoren realistische verwachtingen
hebben; in 74% van
de projecten is dit wel
het geval.
Score: 3,44
Score: 4,14
Score: 4,29
116
3.1.5 De
voornaamste
gebruikers werden
betrokken/zullen
betrokken worden bij
het evaluatieproces
3.1.6 De
voornaamste
stakeholders (incl.
doelgroep) werden
betrokken/zullen
betrokken worden bij
het evaluatieproces
3.1.7 De onderlinge
relaties tussen de
sleutelactoren zijn
“gezond”
Score: 3,53
Score: 3,52
Score: 3,58
In 7% van de
In 6% van de
In 6% van de
projecten wordt het
projecten wordt het
projecten wordt het
evaluatieproces door
één actor gecontroéén actor gecontroéén actor gecontroleerd, terwijl in 60%
leerd, terwijl in 61%
leerd, terwijl in 58%
van de projecten er
van de projecten er
van de projecten er
betrokkenheid is (of
zal zijn) van een aantal zal zijn) van een aantal zal zijn) van een aantal
van de voornaamste
van de voornaamste
van de voornaamste
gebruikers bij minstens gebruikers bij minstens gebruikers bij minstens
het voor- en nahet voor- en nahet voor- en natraject; in 33% van de
traject; in 32% van de
traject; in 35% van de
projecten worden alle
voornaamste
voornaamste
voornaamste
gebruikers op gepaste
wijze betrokken bij het
proces.
proces.
proces.
Score: 3,62
In 8% van de projecten werden de voornaamste stakeholders niet
betrokken (of zullen ze niet betrokken worden) bij het evaluatieproces; in
54% van de projecten is dit het geval voor enkele van die stakeholders (of
zal dat zo zijn), terwijl in 38% van de gevallen de voornaamste
stakeholders inclusief de doelgroep betrokken werden (of zullen worden).
Score: 4,26
In 8% van de
projecten zijn er
ernstige conflicten tussen de sleutelactoren;
in 21% zijn er geen
noemenswaardige
spanningen, terwijl in
de relaties tussen de
sleutelactoren gezond
en constructief kritisch
zijn.
Score: 4,24
In 8% van de projecten zijn er ernstige
conflicten tussen de sleutelactoren; in 22% zijn
er geen noemenswaardige spanningen, terwijl in
70% van de projecten de relaties tussen de
sleutelactoren gezond en constructief kritisch
zijn.
Score: 3,55
In 6% van de projecten wordt het
evaluatieproces door één actor gecontroleerd,
terwijl in 58% van de projecten er betrokkenheid
is (of zal zijn) van een aantal van de
voornaamste gebruikers bij minsten het voor- en
na-traject; in 35% van de projecten worden alle
voornaamste gebruikers op gepaste wijze
betrokken bij het proces.
Score: 3,55
Score: 3,56
In 8% van de projecten werden de voornaamste
stakeholders niet betrokken (of zullen ze niet
betrokken worden) bij het evaluatieproces; in
56% van de projecten is dit het geval voor
enkele van die stakeholders (of zal dat zo zijn),
terwijl in 36% van de gevallen de voornaamste
stakeholders inclusief de doelgroep betrokken
werden (of zullen worden).
Score: 4,22
In 8% van de projecten zijn er ernstige
conflicten tussen de sleutelactoren; in 22% zijn
er geen noemenswaardige spanningen, terwijl in
70% van de projecten de relaties tussen de
sleutelactoren gezond en constructief kritisch
zijn.
Score: 3,59
Score: 4,24
117
3.1.8 Het is mogelijk
om alle sleutelactoren
te contacteren zonder
risico op wederzijdse
beïnvloeding
3.1.9 Er is een
positieve houding
t.a.v. onafhankelijke
evaluatie bij alle
sleutelactoren
Score: 4,63
Score: 4,64
Score: 4,63
In 18% van de
In 18% van de gevallen hebben bepaalde
In 18% van de gevallen hebben bepaalde
gevallen hebben
actoren moeite om zich afzijdig te houden (of zal
actoren moeite om zich afzijdig te houden (of zal
bepaalde actoren
dat zo zijn), terwijl in 82% van de projecten alle
dat zo zijn), terwijl in 82% van de projecten alle
moeite om zich afzijdig
actoren het er over eens zijn dat zij zich afzijdig
actoren het er over eens zijn dat zij zich afzijdig
te houden (of zal dat
moeten houden.
moeten houden.
zo zijn), terwijl in 82%
van de projecten alle
actoren het er over
eens zijn dat zij zich
afzijdig moeten
houden.
Score: 4,18
Score: 4,21
In 3% van de projecten hebben bijna alle sleutelactoren een negatieve houding t.a.v. onafhankelijke
In 3% van de
evaluatie, terwijl in 15% van de gevallen dit voor ongeveer de helft van de sleutelactoren het geval
projecten hebben bijna
is. In 45% van de projecten hebben bijna alle sleutelactoren een positieve houding t.a.v.
alle sleutelactoren een
onafhankelijke evaluatie, terwijl dit in 38% van de projecten voor alle sleutelactoren geldt.
negatieve houding
evaluatie, terwijl in
15% van de gevallen
dit voor ongeveer de
helft van de
sleutelactoren het
geval is. In 41% van
de projecten hebben
bijna alle sleutelactoren een positieve
houding t.a.v.
onafhankelijke
evaluatie, terwijl dit in
voor alle sleutelactoren
geldt.
Score: 4,64
Score: 4,18
Tabel 8: Overzicht van de bevindingen m.b.t. de bredere context
Item
Relevantie
Effectiviteit
Efficiëntie
Impact
Duurzaamheid
3.2 De bredere
context
Score: 4,10
Score: 4,25
Score: 4,25
Score: 4,10
Score: 4,15
Score: 4,17
118
3.2.1 De bredere
institutionele en
politieke context
staat positief t.a.v.
onafhankelijke
evaluatie
3.2.2 De socioculturele context op
het niveau van de
doelgroepen maakt
correct verzamelen
van informatie
mogelijk
3.2.3 Lokale
deskundigheid met
het vereiste profiel
voor de evaluatie is
beschikbaar
Score: 4,40
Bij 8% van de
interventies liggen
onafhankelijke evaluaties moeilijk bij de
betrokken instituties
van het land van
interventie, terwijl er in
15% verschillende
houdingen bestaan
evaluaties. In 78% van
de interventies is het
principe van
onafhankelijke
evaluaties door de
betrokken instanties
aanvaard.
Score: 4,35
Bij 5% van de
interventies ligt
informatie verzamelen
over de doelgroep
moeilijk, terwijl dit bij
23% van de
interventies doenbaar
is. In 73% van de
interventies is dit
mogelijk zonder grote
inspanningen.
Score: 4,25
In 3% van de
interventies zijn
evaluatoren met het
vereiste profiel zeer
moeilijk te krijgen; in
33% vraagt dit enige
moeite, terwijl er in
65% van de gevallen
een voldoende aanbod
van experten met het
vereiste profiel bestaat.
Score: 4,45
Bij 5% van de interventies liggen onafhankelijke
evaluaties moeilijk bij de betrokken instituties
van het land van interventie, terwijl er in 18%
verschillende houdingen bestaan t.a.v. onafhankelijke evaluaties. In 78% van de interventies is
het principe van onafhankelijke evaluaties door
de betrokken instanties aanvaard.
Score: 4,45
Bij 5% van de interventies ligt informatie
verzamelen over de doelgroep moeilijk, terwijl dit
bij 23% van de interventies doenbaar is. In 73%
van de interventies is dit mogelijk zonder grote
inspanningen
Score: 4,30
In 3% van de
interventies zijn
evaluatoren met het
68% van de gevallen
Score: 4,25
In 3% van de
interventies zijn
evaluatoren met het
65% van de gevallen
Score: 4,40
Bij 8% van de
interventies liggen
van het land van
15% verschillende
houdingen bestaan
principe van
onafhankelijke
evaluaties door de
aanvaard.
Score: 4,35
Bij 5% van de
interventies ligt
over de doelgroep
23% van de
is. In 73% van de
interventies is dit
inspanningen.
Score: 4,20
In 3% van de
interventies zijn
evaluatoren met het
63% van de gevallen
Score: 4,45
Bij 5% van de
interventies liggen
van het land van
18% verschillende
houdingen bestaan
principe van
onafhankelijke
evaluaties door de
aanvaard.
Score: 4,40
Bij 3% van de
interventies ligt
over de doelgroep
25% van de
is. In 73% van de
interventies is dit
inspanningen.
Score: 4,25
In 3% van de
interventies zijn
evaluatoren met het
65% van de gevallen
Score: 4,43
Score: 4,40
Score: 4,25
119
ROYAUME DE BELGIQUE
Affaires étrangères,
Evaluer de manière crédible et utile : entre rêve et réalité
Evaluer de manière
crédible et utile :
entre rêve et réalité
Une étude de l’évaluabilité d’interventions
(co) financées par la coopération belge
ROYAUME DE BELGIQUE
Affaires étrangères
Service de l’Evaluation spéciale de la Coopération belge au développement
Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]
Dépôt légal n° 0218/2016/013
Service de l’Evaluation
spéciale de la Coopération
belge au Développement

Étude de l`évaluabilité des interventions (co)financées par la

Transcription

Documents pareils

Profiel voor de aanwerving van een jurist Een

ABCEFGKMNSUPT sqv 212

la nature - Natagora

Fiche Natagora - Quartiers durables citoyens

Thalasso Luxembourg : sejour spa ou thalassotherapie a Clervaux

Meer info ook via het artikel van de Berchem News van april 2016.

STABIGO STONE IMPORT

DE LEEFWERELD VAN VINCENT VAN GOGH IN FRANKRIJK.