1 GUIDE DU CONTENU DU RAPPORT D`EVALUATION General

SYSTEME D’ASSURANCE QUALITE DES EVALUATIONS
Bureau de l’évaluation
Mesurer les résultats, partager les enseignements
GUIDE DU CONTENU DU RAPPORT D’EVALUATION
General
Ce document décrit le contenu attendu du rapport d’évaluation, qui devra présenter les principales
constatations (fondées sur les observations), conclusions et recommandations de l’évaluation d’une
manière qui corresponde aux besoins des principaux utilisateurs de l’évaluation et qui réponde aux
questions d’évaluation. Le gestionnaire de l’évaluation ainsi que les membres de l’équipe ont l’entière
responsabilité de la qualité du rapport d’évaluation.
Les évaluations doivent être menées d'une manière professionnelle, éthique et soucieuse de la
problématique hommes-femmes, y compris la présentation de données ventilées par sexe, âge,
handicap, etc. Les évaluations doivent être culturellement sensibles et respecter le principe de
confidentialité, protection des sources d’informations et de la dignité des personnes interviewées. Le
rapport d'évaluation doit indiquer la mesure dans laquelle les considérations de genre ont été
intégrées le cas échéant.
Ce document doit être utilisé en conjonction avec:

Le guide «l’Evaluation étape par étape» et les critères de qualité pour les rapports
d'évaluation présentés à la section 4.4 des Directives pour les évaluations d’opération.

Les modèles établis pour la présentation des données relatives aux effets et produits
directs disponibles à ce lien.

Le modèle de rapport d'évaluation et un guide de formatage du rapport d'évaluation
fourni séparément.

La liste récapitulative d’assurance qualité pour le rapport d'évaluation, qui peut être
utilisée par le gestionnaire de l'évaluation pour fournir des commentaires de façon
structurée et constructive à l'équipe d'évaluation.
Remarque: Le rapport d'évaluation ne doit pas dépasser 40 pages (en anglais) ou 46 pages (en
français et espagnol), à l'exclusion du résumé et des annexes.
Section
Contenu
Fiche
La fiche d'information sur l’opération aura été préparée durant la
d'information sur phase d’amorce et doit être actualisée avec les données
l’opération
supplémentaires obtenues durant la mission.
Carte
Operations
Résumé
des Inclure une carte actualisée montrant les zones d’intervention de
l’opération à ce jour.
Le résumé doit présenter une synthèse complète et équilibrée des
constatations, conclusions et recommandations de l’évaluation.
 Introduction: aspects principaux de l’évaluation, du contexte et
1
Section
Contenu
de l’opération du PAM
 Principales constatations concernant les trois questions
d’évaluation:
1) adéquation de l’opération
2) résultats de l’opération
3) facteurs influant sur les résultats
 Appréciation globale/conclusions
 Principales recommandations.
Note:

Le résumé ne doit pas dépasser 4.5 pages.

Le résumé sera probablement la seule partie du rapport d’évaluation que liront les
décideurs. Il est donc important de veiller à ce qu’il contienne les constatations les plus
importantes, à ce qu’il forme un tout et à ce qu’il puisse se lire indépendamment.
1. Introduction
1.1.
Caractéristiques
de l’évaluation
Bref survol des caractéristiques de l’évaluation pour en expliquer
le pourquoi et le comment, qui donnera des informations sur:
 Les raisons pour lesquelles l’évaluation est réalisée, ses
objectifs et sa portée, les parties prenantes et les utilisateurs.
 La méthodologie et ses limites, y compris la mesure dans
laquelle une méthodologie prenant en compte la
problématique hommes-femmes a été utilisée, en décrivant les
méthodes de collecte des données employées pour recueillir
l’information sur les questions liées à cette problématique afin
de s’assurer que les femmes et les groupes marginalisés sont
bien pris en compte.
 Etapes principales de la mission de terrain de l’évaluation, y
compris dates et durée, membres de l’équipe d’évaluation, et
les dispositions prises pour le suivi de qualité.
 Donner des détails expliquant dans quelle mesure la
méthodologie utilisée a pris en compte la problématique
hommes-femmes.
Note:



Cette section doit être courte (environ 1 page); de plus amples détails seront fournis
dans les annexes.
Elle doit suffire à expliquer aux lecteurs comment l’évaluation a été réalisée et les
convaincre de l’impartialité et de la crédibilité du processus.
Les annexes jointes au rapport doivent correspondre aux informations sommaires
données dans cette section.
Bref aperçu des aspects du contexte du pays ayant une pertinence
1.2. Le contexte du
directe pour l’évaluation, qui donnera notamment des
pays
renseignements sur:
2
Section
Contenu
 La pauvreté, l’insécurité alimentaire et la nutrition (indicateurs
et tendances).
 Les secteurs concernés par l’axe d’intervention (éducation,
santé, etc.).
 Problématique hommes-femmes. Présenter la situation
générale hommes-femmes dans le pays, les politiques et
programmes gouvernementaux, et les indicateurs pertinents.
 La stratégie gouvernementale – politiques et programmes.
 La situation humanitaire – catastrophes/crises (d’origine
naturelle et/ou humaine) au cours des dernières années et
principaux défis à relever dans les domaines de l’action
humanitaire et du développement.
 Principaux événements extérieurs ayant eu des effets
considérables sur les modalités d’action du PAM, etc.
Note:



L’information présentée ici devra être pertinente et nécessaire pour comprendre les
répercussions du contexte opérationnel.
Il faudra utiliser des indicateurs pertinents et des données tendancielles (évolution
dans le temps).
Dans cette section, un juste milieu devra être trouvé entre synthèse et détails.
1.3. Vue
d’ensemble de
l’opération
Brève analyse portant sur:
 La date d’approbation et la durée prévue; les objectifs de
l’opération; les activités et les effectifs prévus de bénéficiaires,
ventilés par sexe; le montant total des ressources nécessaires;
les niveaux de financement et les principaux donateurs.
 Indiquer l’évolution pendant la période couverte par
l’évaluation de chacun de ces facteurs.
Note:

Une bonne part de ces données aura déjà été préparée et présentée dans les termes de
référence et dans le dossier initial.

Il faudra se référer à la fiche d’information sur l’opération, s’il y a lieu.
2. Constatations de Objet: cette section du rapport d’évaluation présente les
l’évaluation
constatations de l’évaluation au sujet des trois questions
essentielles. Elle devra fournir des données probantes – tirées de
l’analyse des données et des renseignements reçus des diverses
parties prenantes – pour étayer les conclusions de l’équipe
d’évaluation (présentées à la section 3 du rapport d’évaluation).
Cette section du rapport d’évaluation devra clairement distinguer
les constatations (les faits, les éléments de preuve, les points de
vue des parties prenantes, etc.) des opinions de l’équipe
d’évaluation.
Note:
3
Section
Contenu

Le rapport doit être rédigé en utilisant une formulation qui tienne compte de la
problématique hommes-femmes, en incluant des données ventilées par sexe. Il doit
montrer que les constatations ont été élaborées compte tenu des divers groupes de
parties prenantes.
 Les constatations doivent tenir compte des divers groupes de parties prenantes, ainsi
que de la représentation des deux sexes. Elles doivent être examinées en veillant à ce
que le degré d’analyse de la problématique hommes-femmes soit approprié.
 Des supports visuels (graphiques, tableaux, etc.) serviront à présenter les données et à
illustrer les arguments avancés d’une manière claire et facile à consulter.
 Les constatations devront être étayées par des éléments de preuve dont l’exactitude, la
cohérence et la fiabilité auront été vérifiées.
 Les éléments de preuve présentés dans le rapport ne devront pas être en contradiction
avec les données probantes/connaissances disponibles auprès de sources dignes de foi
extérieures au PAM.
 Dans les cas où les éléments disponibles ne sont pas concluants, il faudra l’indiquer
clairement.
 Les renseignements devront être pertinents et en rapport avec la question posée.
 Les sources devront être citées (pas de plagiat).
 Un juste milieu devra être trouvé entre synthèse et détails.
Adéquation aux besoins. Brève analyse expliquant si:
2.1. Adéquation de
 l’opération a été conçue à partir d’une analyse appropriée
l’opération
du contexte reposant sur divers autres travaux analytiques
(estimations des besoins, cartographie de la sécurité
alimentaire, recherches, examens etc.);
 les objectifs de l’opération correspondent aux besoins de la
population;
 les bons choix ont été faits en ce qui concerne les activités
et les modalités de transfert (assistance alimentaire,
transferts monétaires ou bons);
 le ciblage géographique est adapté.
 L’opération a été conçue sur la base d’une analyse
rigoureuse de la problématique hommes-femmes.
Concordance avec la stratégie du PAM. Indiquer, en se
référant au Plan stratégique du PAM, dans quelle mesure les
objectifs de l’opération correspondent aux stratégies et politiques
du PAM.
Concordance avec les politiques du gouvernement.
Indiquer:
 si les objectifs de l’opération du PAM correspondent aux
préoccupations du gouvernement et si les activités choisies
(regroupées en fonction de leur contribution à divers
secteurs) sont en phase avec les stratégies sectorielles
pertinentes du pays;
 dans quelle mesure les objectifs de l’opération ont été définis
à partir d’une analyse des buts visés par le gouvernement et
les partenaires, et d’une étude indiquant les contributions du
PAM qui seraient les plus efficaces et les plus économiques.
Concordance avec l’action des partenaires. Déterminer:
4
Section
Contenu
 si l’opération du PAM concerne les secteurs prioritaires
répertoriés dans les principaux outils communs de
planification des Nations Unies, notamment bilan commun
de pays, plan-cadre des Nations Unies pour l’aide au
développement, matrice d’évaluation des besoins, procédure
d’appel global, etc.;
 s’il a été créé des synergies avec des programmes de
partenaires (notamment, selon les cas, institutions des
Nations Unies, institutions financières, donateurs et
organisations non gouvernementale internationales).
Note:
 Un degré d’alignement important à tous ces niveaux n’est pas en soi un indicateur de
succès car il ne signifie pas forcément que le PAM joue un rôle stratégique ou
répond aux besoins de ses groupes cibles prioritaires. Il conviendra de déterminer si
le PAM s’est aligné de manière stratégique et s’est positionné là où il peut influer le
plus sur le cours des choses. Dans les cas où l’alignement est source de tensions
potentielles, il faudra le cas échéant le mentionner.
 Les constatations et conclusions principales peuvent être résumées en quelques
points/ alinéas dans un encadré situé à la fin de la section (ceci est optionnel mais
considéré comme étant une bonne pratique).
2.2. Résultats de
l’opération
Cette section sera la partie qui contiendra le plus d’informations et
sera donc la plus longue du rapport. Les données relatives aux
effets et produits directs doivent être vérifiées et validées et être
présentées en utilisant les modèles établis pour les évaluations
d’opération disponibles à ce lien.
Présenter, pour chaque activité:
1. Le nombre de personnes ayant reçu une assistance au fil du
temps, en indiquant si cette assistance était de qualité et si elle a
été fournie aux personnes ciblées en quantité suffisante et dans les
délais prévus. Pour chaque groupe d’activités, passer en revue les
points ci-dessous et leur interaction. Utiliser des tableaux et des
graphiques pour illustrer les arguments.
 QUI – sélection des bénéficiaires (ciblage des ménages, erreurs
de ciblage, etc.), nombre effectif de bénéficiaires par rapport
au nombre prévu et par rapport au nombre estimé de
personnes dans le besoin, et variations au fil du temps.
 QUOI – chiffres effectifs par rapport aux chiffres prévus pour
les quantités de produits alimentaires fournies, les rations
distribuées (taille, composition et durée).
 QUAND – fréquence, durée et distribution en temps voulu de
l’assistance, etc.
Pour les activités de type Vivres contre travail, Vivres pour la
création d’avoirs, Vivres pour la formation et les activités de
soutien des moyens d’existence, dont on attend des produits
spécifiques (création d’infrastructures et d’avoirs, etc.), examiner
l’adéquation et la qualité des produits. Pour les activités qui n’ont
5
Section
Contenu
pas directement trait à l’aide alimentaire (transferts monétaires et
bons ou activités de développement des capacités), utiliser
d’autres indicateurs de produit pertinents.
 Expliquer dans quelle mesure les produits ont contribué à la
réalisation des objectifs. Estimer les changements à moyen et
long terme intervenus dans la vie des personnes ciblées du fait
de l’assistance fournie, et notamment:
 estimer les effets directs obtenus pour chaque objectif par
rapport aux effets prévus ainsi que les autres changements
visibles, et fournir un bilan global des effets directement
imputables à l’opération;
 analyser les facteurs à l’origine de ces changements (par ex.
contribution de l’opération du PAM par rapport à celle des
autres intervenants).
 Fournir des éléments prouvant les résultats obtenus en
matière de problématique hommes-femmes et décrire tous les
résultats imprévus de l’opération concernant des questions
liées à cette problématique. Préciser les facteurs qui ont
favorisé ou compromis le succès en la matière.
Note: conclure en parlant de l’efficience et l’efficacité globales de
chacune des activités exécutées dans le cadre de l’opération.
Globalement, pour toutes les activités jumelées:
Estimer si l’opération a contribué aux résultats plus globaux
obtenus en matière de développement/d’action humanitaire par le
PAM dans le pays, et examiner son rôle à la lumière des facteurs
qui expliquent les changements observés. La contribution de
l’opération dépendra de sa taille (par rapport à celle du
portefeuille du PAM) et de son rôle stratégique (par rapport à
l’éventail des options envisageables).
Note:


2.3. Facteurs
influant sur les
résultats
Les constatations et conclusions principales peuvent être
résumées en quelques points/ alinéas dans un encadré
situé à la fin de la section (ceci est optionnel mais considéré
comme étant une bonne pratique).
Les
données
sur
les
bénéficiaires
devront
systématiquement être ventilées par sexe.
Étudier le "pourquoi" de la performance de l’opération en
analysant les raisons ou les facteurs dynamiques qui en expliquent
les résultats ainsi que leur interaction. Ces facteurs peuvent
notamment être les suivants:
 des facteurs internes (qui relèvent du PAM), notamment: les
moyens humains et financiers dont dispose le bureau de pays
pour exécuter l’opération conformément au plan initial et pour
l’adapter en fonction de l’évolution de la situation; l’efficacité
de la mobilisation des ressources, des achats, de la logistique,
de l’exécution et du suivi; les systèmes et outils de suivi et
6
Section
Contenu
d’évaluation; les critères servant à hiérarchiser l’emploi des
ressources disponibles; les synergies avec les autres
interventions du PAM dans le pays; la capacité de travailler en
partenariat et d’assurer la coordination avec le gouvernement,
les institutions des Nations Unies et les ONG; la capacité de
prendre dûment en compte la problématique hommes-femmes
et d’autres questions transversales, en particulier celles liées à
l’environnement; l’adéquation de l’appui technique/de
l’accompagnement reçu du bureau régional/du Siège, etc.
 des facteurs extérieurs, tels que l’évolution des politiques
gouvernementales et de l’appui des donateurs, du niveau des
ressources et des coûts, etc.
Note:
Les constatations et conclusions principales peuvent être résumées en quelques points/
alinéas dans un encadré situé à la fin de la section (ceci est optionnel mais considéré
comme étant une bonne pratique).
3. Conclusions et
recommandations
Objet: cette section du rapport d’évaluation formule, à partir des
constatations, une appréciation globale et des recommandations.
L’appréciation globale consiste à résumer les diverses
constatations présentées dans les sections précédentes du rapport
d’évaluation pour en dresser un tableau final. Ce résumé sera
succinct, synthétisera les constatations communes et soulignera
les exceptions, au regard des critères d’évaluation pertinents, à
savoir: i) pertinence, ii) cohérence, iii) couverture, iv)
interconnexion, v) efficience, vi) efficacité, vii) impact, viii)
viabilité, et ix) questions de genre.
Toutes les conclusions doivent reposer sur les constatations
présentées dans les sections précédentes et se concentrer sur les
points ayant une importance pour l’opération évaluée.
Les conclusions et les recommandations doivent prendre en
compte divers groupes de parties prenantes et divers aspects de la
problématique hommes-femmes
3.1. Appréciation
globale
 Fournir une appréciation brève et équilibrée des principales
constatations faites au sujet des critères d’évaluation:
Pertinence, cohérence et adéquation: se demander si l’opération:
 correspond aux besoins de la population
 correspond au contexte politique et à celui du programme
 est globalement pertinente au vu de ses effets.
Efficience: réfléchir:
 à l’efficience de l’exécution
 à la stratégie de ciblage
 aux variations de l’efficience résultant de facteurs internes au
PAM ou externes
7
Section
Contenu
 au coût de l’opération.
Efficacité: se demander si l’opération:
 a efficacement produit les changements escomptés pour la
population ciblée
 a satisfait aux objectifs institutionnels du PAM.
Impact: se demander si l’opération:
 a contribué aux objectifs principaux du PAM dans le pays
 a eu des effets plus globaux.
Viabilité et interconnexion (dans les contextes d’urgence): voir s’il
est probable que les effets directs obtenus vont se poursuivre et s’il
y a interconnexion avec les stratégies du gouvernement et des
partenaires.
Problématique hommes-femmes. Réfléchir aux points suivants:
 Comment les questions liées à la problématique hommesfemmes ont été examinées en tant que thème transversal au
stade de la conception, de l’exécution, du suivi et de
l’évaluation ainsi que de l’établissement des rapports, et si
l’opération s’est suffisamment attachée à promouvoir l’égalité
des sexes et la prise en compte de cette problématique.
 Les enseignements, les points forts et les points faibles ainsi
que les défis à relever en matière de problématique hommesfemmes dans le cadre de l’opération.
 Les solutions possibles aux problèmes observés en rapport avec
la problématique hommes-femmes qui compromettent les
résultats de l’opération.
Note:
•
•
•
•
Aucun nouvel élément de preuve ne devrait être apporté à ce stade. Cette section
présente seulement les conclusions.
Les conclusions devront être claires, cohérentes et découler en toute logique des
constatations.
Toutes les conclusions importantes devront être indiquées (pour que chaque
recommandation soit étayée par des conclusions/constatations).
Les conclusions devront être dépourvues de considérations personnelles ou partisanes.
3.2. [Principaux
enseignements
pour l’avenir]
Objet: cette section est facultative et figurera dans le rapport
dans les cas où l’équipe d’évaluation constate que certains
enseignements devaient être signalés sans pour autant devoir
faire l’objet de recommandations concrètes.
3.3.
Recommandations
Cette section comprend une série de courts paragraphes formulant
au plus 10 recommandations qui découlent de manière logique des
constatations et des conclusions. Chaque recommandation fait
l’objet d’un paragraphe distinct.
Les recommandations devront:
•
être peu nombreuses (10 au plus)
8
Section
Contenu
•
•
•
•
•
•
découler de manière logique des constatations et des
conclusions
être pertinentes, concrètes et réalistes (applicables)
être présentées par ordre de priorité et selon une séquence
logique
être regroupées par catégories (stratégiques/opérationnelles, à
moyen/court terme, etc.)
s’adresser à des acteurs/parties prenantes clés
Si possible, inclure une/des recommandation(s) portant sur les
questions liées à la problématique hommes-femmes, y compris
les actions prioritaires pour améliorer les résultats de
l’opération en la matière.
Note:
•
•
•
•
•
•
La présente note technique définit les normes et les attentes d’OEV en ce qui concerne
l’amélioration de la qualité des recommandations formulées dans les rapports
d’évaluation, normes qui doivent être appliquées.
Il convient de veiller à ce que les recommandations aient une incidence positive sur les
questions liées à la problématique hommes-femmes.
Les recommandations devront présenter des options plausibles d’amélioration.
Les recommandations devront être de nature stratégique et ciblées avec précision, c’està-dire indiquer clairement les modifications des politiques, pratiques ou procédures
recommandées, à quel niveau, par qui et dans quels délais.
Les personnes chargées de répondre et d’appliquer les recommandations devront être
indiquées.
Dans la mesure du possible, des délais seront proposés en ce qui concerne l’application
des recommandations.
Annexes
Les annexes devront étayer/compléter le corps principal du
rapport et ne devront pas inclure tous les documents de travail de
l’équipe d’évaluation. Devront y figurer:
•
•
•
•
•
•
les termes de référence
Méthodologie: il faut indiquer dans quelle mesure les
considérations liées à la problématique hommes-femmes ont
été prises en compte, s’il y a lieu (par exemple, en tant que
thème transversal), y compris au niveau des méthodes de
collecte des données.
la matrice d’évaluation
la bibliographie (y compris auteur, date de publication, titre,
éditeur)
la liste des personnes rencontrées/interviewées
autres documents (à préciser).
Note:
•
•
•
•
Les annexes devront être énumérées et numérotées dans l’ordre dans lequel elles
apparaissent dans le corps principal du rapport.
Des renvois aux annexes devront figurer dans le corps principal du rapport.
Si le rapport complet, annexes comprises, dépasse 100 pages, prévoir de séparer les
annexes essentielles (à inclure) et les annexes supplémentaires (deuxième volume).
Les annexes supplémentaires comprendront en général:
* le programme résumé des activités menées sur le terrain
9
Section
Contenu
* les outils de collecte des données
* d’autres annexes techniques.
10