Télécharger le fichier

L’évaluation d’impact aléatoire
Ilf BENCHEIKH
Directeur-adjoint
J-PAL Europe
povertyactionlab.org
TRADUIRE LA RECHERCHE EN ACTION
Evaluation:
Un même mot pour plusieurs activités
TRADUIRE LA RECHERCHE EN ACTION
Les types d’évaluation
• Identification des besoins
•
Quel est le problème ?
• Effets théoriques du
programme
•
Comment, en théorie, le programme
résout-il le problème ?
• Évaluation de processus
•
Est-ce que le programme fonctionne
comme prévu ?
• Évaluation d’impact
•
Est-ce que ses objectifs ont été atteints?
Avec quelle magnitude ?
• Analyse coût-efficacité
•
Vu son impact et son coût, que vaut ce
programme par rapport aux autres ?
TRADUIRE LA RECHERCHE EN ACTION
…et leur traduction anglaise
• Needs Assessment
•
What is the problem?
• Program Theory Assessment
•
How, in theory, does the program fix the
problem?
• Process Evaluation
•
Does the program work as planned?
• Impact Evaluation
•
Were its goals achieved?
The magnitude?
•
Given magnitude and cost, how does it
compare to alternatives?
• Cost Effectiveness
TRADUIRE LA RECHERCHE EN ACTION
L’évaluation d’impact
TRADUIRE LA RECHERCHE EN ACTION
Une mesure finale permet-elle de calculer
l’impact ?
Emissions CO2
Mesure en fin de
programme
500
t=
0
PROGRAMME
t=
1
TRADUIRE LA RECHERCHE EN ACTION
temps
Le besoin d’un « contrefactuel »
• Pour mesurer l’impact d’un programme, il faut
pouvoir comparer ce qui est arrivé avec le
programme avec ce qui serait arrivé en l’absence du
programme
• L’impact est défini comme la différence entre :
1. L’indicateur d’intérêt après que le programme a été mis
en œuvre
2. L’indicateur d’intérêt, au même moment dans le temps, si
le programme n'avait pas été mis en œuvre (le
« contrefactuel »)
TRADUIRE LA RECHERCHE EN ACTION
Méthodes pour construire le contrefactuel
• Toute la difficulté de l’évaluation d’impact est de
construire un bon contrefactuel
• Beaucoup de méthodes de valeur diverse:
–
–
–
–
–
–
Avant-Après
Différence simple
Double différence (diff-in-diff)
Régression multivariée, régression discontinuité
Appariement (Matching)
Evaluation aléatoire
TRADUIRE LA RECHERCHE EN ACTION
Avant-après
Emissions CO2
Mesure en
début de
programme
Contrefactuel
700
Impact?
500
Mesure en fin de
programme
t=0
PROGRAMME
t=1
TRADUIRE LA RECHERCHE EN ACTION
temps
Différence simple
Emissions CO2
Mesure en fin de
programme
500
Impact?
300
Contrefactuel
donné par la
région voisine
t=0
PROGRAMME
t=1
TRADUIRE LA RECHERCHE EN ACTION
temps
Différence double
Emissions CO2
Mesure en
début de
programme
700
660
Contrefactuel
Impact?
500
Mesure en fin de
programme
340
300
Région voisine
t=0
PROGRAMME
t=1
TRADUIRE LA RECHERCHE EN ACTION
temps
Principe de l’évaluation aléatoire
• Toutes les méthodes qui choisissent pour
contrefactuel un groupe présumé comparable
s’exposent à ce que ce ne soit pas le cas
• Seule la méthodologie par assignation aléatoire entre
le groupe test et le groupe témoin offre la certitude
de la comparabilité entre les deux groupes
TRADUIRE LA RECHERCHE EN ACTION
Échantillon aléatoire et assignation aléatoire
Échantillon
aléatoire dans la
région visée
Assignation
aléatoire en
groupe
test
ou témoin
TRADUIRE LA RECHERCHE EN ACTION
L’impact: la comparaison entre test et témoin
Emissions CO2
Mesure en fin de
programme
Groupe témoin
600
Impact!
500
Groupe test
t=0
PROGRAMME
t=1
TRADUIRE LA RECHERCHE EN ACTION
temps
Des résultats très différents selon la méthode
employée!
Campagne électorale aux USA
Méthodes
Impact estimé (% de votes)
Avant-Après
-7,2 pp
Différence simple
10,8 pp *
Double différence
3,8 pp*
Régressions multiples
6,1 pp *
Appariement
2,8 pp *
Assignation aléatoire
0,4 pp
TRADUIRE LA RECHERCHE EN ACTION
J-PAL
Laboratoire d’action contre la pauvreté
TRADUIRE LA RECHERCHE EN ACTION
J-PAL: laboratoire d'action contre la pauvreté
• Un réseau de chercheurs
dans les institutions du
monde entier
• Réunis par leur pratique de
l'évaluation aléatoire
• Créé en 2003 par Esther
Duflo et Abhijit Banerjee,
professeurs au MIT
(Boston, USA)
TRADUIRE LA RECHERCHE EN ACTION
J-PAL aujourd'hui: 5 bureaux et 70 chercheurs
TRADUIRE LA RECHERCHE EN ACTION
Former
J-PAL
Améliorer
la vie des
personnes
pauvres
Evaluer les
programmes
sociaux
Diffuser les
résultats
TRADUIRE LA RECHERCHE EN ACTION
J-PAL et ses partenaires
• J-PAL coopère avec:
–
–
–
–
–
–
des représentants des gouvernements
des agences publiques de développement
des organisations internationales
des ONG
des fondations
des groupes du secteur privé
• pour évaluer les projets ou pour recevoir des
financements
TRADUIRE LA RECHERCHE EN ACTION
Les évaluations de J-PAL dans le monde
• 340 évaluations aléatoires dans 52 pays
• Environ 180 sont terminées
TRADUIRE LA RECHERCHE EN ACTION
Les évaluations environnementales
1/ Pollution liée à une activité économique
- Amélioration du travail des auditeurs environnementaux (Inde)
- Déforestation (Ouganda)
- Amélioration des pratiques agricoles (Bolivie)
2/ Pollution domestique
- Formation des ménages pauvres à l'économie d'énergie (USA)
- Formation au recyclage des déchets (Pérou)
- Pollution de l'air domestique (deux études complémentaires, Inde
puis Bangladesh)
- Campagne sacs plastiques (Mexique)
TRADUIRE LA RECHERCHE EN ACTION
Un exemple:
L’amélioration des audits en Inde
TRADUIRE LA RECHERCHE EN ACTION
Amélioration des audits en Inde
•
•
•
•
Etat du Gujarat, Inde
473 usines
2009-2011
Partenaire: Gujarat
Pollution Control Board
• Chercheurs: Esther Duflo
Michael Greenstone
Rohini Pande
Nicholas Ryan
TRADUIRE LA RECHERCHE EN ACTION
Le problème à résoudre
• Depuis 1996, audits
environnementaux
obligatoires
• Mais auditeurs payés
par les entreprises =>
conflit d’intérêt?
• Garde-fous jugés peu
efficaces
TRADUIRE LA RECHERCHE EN ACTION
L’intervention
• Assignation aléatoire des
auditeurs aux usines
• Paiement centralisé des
auditeurs
• 20% des audits effectués
une seconde fois
• 233 usines test, 240
contrôle
TRADUIRE LA RECHERCHE EN ACTION
Des auditeurs plus efficaces…
TRADUIRE LA RECHERCHE EN ACTION
… et une pollution en baisse
• Dans le groupe contrôle, les auditeurs sous-estiment la
pollution, déclarant souvent des valeurs justes en-dessous de
la norme
• Dans le groupe test, les audits ne sont pas significativement
différents des « backchecks »
• Un effet à la fois de l’incitation financière et des
« backchecks »
• Impact visible même sur les auditeurs travaillant dans les
deux groupes
• Les usines mieux contrôlées baissent de 20 pp leurs émissions
polluantes
TRADUIRE LA RECHERCHE EN ACTION
Conclusions
TRADUIRE LA RECHERCHE EN ACTION
Quand engager une évaluation aléatoire ?
• Dès qu’il existe une question importante pour
laquelle vous voulez / vous avez besoin d’obtenir
une réponse
• Ni trop tôt ni trop tard…
• Le programme est suffisamment représentatif, pas
une solution particulière
• Pour bien faire les choses, il faut du temps, des
compétences et un budget
• Mettre au point un plan d’évaluation pour
hiérarchiser les priorités
TRADUIRE LA RECHERCHE EN ACTION
Quand NE PAS engager d'évaluation aléatoire
• Lorsque le programme est prématuré et nécessite
d’être sérieusement « peaufiné » avant d’être
déployé ou dupliqué
• Lorsque le projet est mené à trop petite échelle
• Si on a déjà démontré rigoureusement l’impact
positif du programme et que le budget permet
d'inclure tout le monde
• Si le programme a déjà commencé
• Si le programme ne va pas se développer ailleurs
TRADUIRE LA RECHERCHE EN ACTION
Merci de votre attention!
Pour plus d’informations:
www.povertyactionlab.org
TRADUIRE LA RECHERCHE EN ACTION