Tirer au sort dans la bulle

Transcription

Évaluations aléatoires :
Comment tirer au sort ?
William Parienté
Université Catholique de Louvain
J-PAL Europe
povertyactionlab.org
TRADUIRE LA RECHERCHE EN ACTION
Plan de la semaine
1.
2.
3.
4.
5.
6.
7.
8.
Pourquoi évaluer ?
Comment mesurer l’impact ?
Pourquoi tirer au sort ?
Comment tirer au sort ?
Comment déterminer la taille de l’échantillon ?
Risques et solutions
Une évaluation de A à Z
Analyses coût-efficacité et généralisation
Plan du cours
•
•
•
•
Unité de randomisation
Contraintes de la vraie vie
Différentes méthodes de randomisation
Groupe test et groupe témoin: extension
Qu’est-ce que l'assignation aléatoire?
Revenus, par personne
et par mois, en roupies
1457
1442
1000
2006
500
0
Test
Témoin
How to Randomize, Part
I-3
La mécanique du tirage au sort
• Vous avez besoin d’un cadre
d’échantillonnage
• Vous tirez les noms d'un
chapeau ou d'un sac
• Vous utilisez le générateur
aléatoire d’un programme de
feuille de calcul afin d’ordonner
les observations de manière
aléatoire
• Code de programmation Stata
• Que faire s'il n'y a pas de liste ?
Plan du cours
•
•
•
•
L'unité tirée au sort
En général on peut randomiser à plusieurs niveaux
1. Tirer au sort au niveau de l'individu
2. Tirer au sort au niveau du groupe (évaluation en
grappes)
Unité tirée au sort : l'individu ?
Unité tirée au sort : l'individu
L'unité tirée au sort : le groupe ?
Par groupes d'individus:
randomisation en grappe
L'unité tirée au sort : la classe ?
L'unité tirée au sort : la classe
L'unité tirée au sort : l'école ?
L'unité tirée au sort : l'école
L'unité de tirage au sort : réflexions
• Comment fait-on pour choisir l’unité de
randomisation ?
L'unité de tirage au sort : réflexions
• Cela dépend de l’intervention : effet au niveau du
groupe ou au niveau individuel.
• Certains programmes peuvent être exécutés
seulement à un certain niveau.
Il faut savoir
• Quelle unité le programme vise-t-il ?
– Classe, étudiant?
• Quelle est l'unité d'analyse?
L'unité de tirage au sort : quelle cible ?
• Comment l’intervention est-elle administrée ?
• Quel est la zone d’intervention de chaque «unité» ?
• Quelle est la taille de l’impact potentiel ?
Plan du cours
•
•
•
•
Unité et méthode de randomisation
Méthodes de randomisation
Variations autour des notions simples de groupe tes
et groupe témoin
Contraintes
• Contamination
• Logistique
• Equité
Contraintes : la contamination
• Rappelez-vous du scénario contrefactuel !
• Si le groupe témoin diffère du scenario contrefactuel,
nos résultats risquent d’être biaisés
Externalités : exemple: programme de
déparasitage
Avant une étude au Kenya, les études précédentes
comparaient les élèves traités aux élèves non traités
au sein d’une même école
– Quel peut être le problème de cette comparaison lorsqu’il
y a des externalités?
– Quel est le signe du biais attendu?
Externalités : exemple: programme de
déparasitage
• Choisir l’unité d’échantillonnage de façon à englober
les externalités
• Exemple: les externalités ont lieu au sein de l’école
– L’affectation aléatoire des écoles permet de mesurer
l’ensemble des effets (effet direct et externalité) en
comparant les écoles
Les contraintes : la contamination
• Effets d'externalité (ou spillover)
– Positifs (test => témoin)
– Négatifs (test => témoin)
– Négatifs (témoin => test)
Contraintes liées à la logistique
• La distribution des vermifuges est l’une des
nombreuses responsabilités d’un soignant
• Le soignant doit s’occuper à la fois des groupes Test
et des groupes Témoin
• Il peut s’avérer difficile de former les soignants aux
différentes procédures à appliquer à chaque groupe,
et à garder trace de ce qu’ils doivent donner et à qui
Contraintes liées à l'équité
• Tirage au sort au niveau de chaque enfant au sein
des classes
• Tirage au sort au niveau des classes au sein des
écoles
• Tirage au sort au niveau de la communauté
Contraintes liées à la taille de l’échantillon
• Le programme ne permet de servir qu’un petit
nombre de communautés
• En général, la randomisation individuelle nous donne
un échantillon plus grand pour un moindre coût.
Plan du cours
•
•
•
•
Randomisation
• En général, les programmes/interventions sont
contraintes en terme de budget, les moyens sont
limités
• Ceci constitue un atout pour l’évaluateur
• Le nombre de bénéficiaires éligibles est bien
supérieur aux moyens disponibles
• Programmes courants :
– Formation pour les entrepreneurs ou les agriculteurs
– Bons de réduction pour les frais d'inscription scolaires
•
•
•
•
Loterie
Randomisation dans la bulle
Mise en place progressive
Encouragement
La loterie : la référence des essais cliniques
• On prend 1000 personnes et on ne donne le
médicament qu’à la moitié d’entre elles.
• Est-il possible d’appliquer cette approche aux
programmes sociaux ?
La loterie : une approche simple
• Les participants sont sélectionnés de manière
aléatoire à partir d’un ensemble de candidats
• Les participants savent qui a « gagné » et qui a
« perdu »
• La loterie de base est faisable lorsqu’il n’existe
aucune raison a priori de discriminer
• Elle est perçue comme équitable et transparente
• Souvent jouable d’un point de vue politique
Que faire : 500 candidats pour 500 places ?
• Envisagez des tirages au sort différents de la loterie
simple
• Développez les actions de communications
• Est-ce éthique ?
Les façons de tirer au sort
• Supposons qu'il y ait 2000 candidats
• Après sélection, il ne reste que 500 candidats
valables
• Or il y a 500 places
• Un simple tirage au sort n'est donc pas possible
• Quelles sont vos options ?
Tirer au sort dans « la bulle »
• Parfois certains partenaires ne souhaitent pas
tirer au sort parmi les personnes éligibles
• Ils peuvent accepter le tirage au sort « dans la
bulle »
• Les personnes qui sont « dans la bulle » sont
celles qui sont en limite d’éligibilité
– Juste au dessus du seuil limite  non éligibles mais
presque
• Quel effet du traitement mesurons-nous ? Qu’estce que cela signifie en termes de validité externe ?
Tirer au sort dans la bulle
Randomisation dans la "bulle"
Test
Dans la
• Mettre la photo et graphique
bulle,
comparer
Test et
Témoin
Non-participants
participants
Témoin
Les tirages au sort partiels
• Quand il faut sélectionner, utiliser des tirages au sort
partiels
• Par exemple, les responsables du programme veulent
garder la main :
– Exemple : programme de formation
– Exemple : extension du crédit à la consommation en
Afrique du Sud
La mise en place progressive
• À la fin, tout le monde bénéficiera du programme
• C'est une approche naturelle lorsque l’on fait face à
des contraintes de moyens pour étendre le
programme
• Comment déterminer quelles écoles, quelles
agences, etc. bénéficieront du traitement telle ou
telle année ?
Mise en place progressive 3
1ère
1
phase
2
3
3
phase
2
3
1
2
1
3
3
3
3
1
2
1
2
2
2
1
3
3
phase
Test: 3/3
Témoin: 0
2
3
2
3ème
3
3
2
Test: 2/3
Témoin: 1/3
Fin de
l'évaluation
aléatoire
2
1
1
2
2
2
Test: 1/3
Témoin: 2/3
2ème
3
1
3
1
3
1
1
T R A2D U I R E
1
LA RECHERCHE EN ACTION
2
3
1
Avantages?
Inconvénients?
mise en place progressive
2008
2009
2010
Traitement
Contrôle
Traitement
Contrôle
Traitement
Groupe 1
Groupe 2
Groupe 3
Groupe 1
Groupe 2
Groupe 3
Groupe 1
Groupe 2
Groupe 3
Avantages
• À la fin, tout le monde obtient quelque chose
• Cette approche encourage à maintenir le contact
Inconvénients
• L’estimation des effets à long terme peut être plus
compliquée
• Il faut être attentif aux « fenêtres » de mise en place
• Les attentes de changement futur ont-elles un
impact sur les actes d'aujourd'hui ?
L'encouragement
• Il est parfois impossible, pour des raisons pratiques
ou éthiques, de tirer au sort l’accès à un programme
• Mais la plupart des programmes ont des niveaux
d’adoption inférieurs à 100 %
• On tire au sort les candidats puis on encourage
certains d'entre eux à participer
Modèle de l'encouragement
encouragement
pas
d'encouragement
a participé
n'a pas participé
Comparez
encouragés à
non encouragés
Ceci doit être corrélé
Ne pas comparer
participants à
non-participants
Conformité
Non conformité
Ajustez la non conformité
en phase d'analyse
Qu’est-ce que « l’encouragement » ?
• Un élément qui rend certaines personnes sont plus
susceptibles de participer que d’autres
• Il ne s’agit pas d’un programme en soi
• Pour qui estimons-nous les effets du programme ?
• Il faut réfléchir à qui va être sensible aux
encouragements
• Pourquoi ca marche?
Exemple encouragement : Accès à l’eau au
Maroc
•
•
•
•
Programme de branchement social à l’eau à Tanger au Maroc
Première idée : randomisation par quartiers
Difficultés techniques
Difficulté politiques : certains responsables de quartiers
veulent avoir le branchement tout de suite
• Impossible de randomiser au niveau du quartier
Ex: Accès à l’eau au Maroc
• Solution: randomisation au niveau individuel
• Mais offre de branchement disponible à tout
le monde dans les quartiers éligibles
• Randomisation par encouragement
Ex:Accès à l’eau au Maroc
Ménages groupe “traitement”
Opération d’information personnalisée à domicile
Méthode
Variation aléatoire du
niveau d’information
des ménages
Ménages groupe “contrôle”
Aucune information durant 12 mois
(mais accès technique si demande faite)
•
•
Encouragement : campagne d’information sur le
programme BSI (branchement social individuel) et
assistance administrative
Encouragement assigné aléatoirement
•
Randomisation par cluster
•
First stage : après 4 mois
En résumé : les différents modèles
•
•
•
•
•
Le tirage au sort simple
Le tirage au sort « dans la bulle »
La mise en place progressive aléatoire
La rotation
L’ encouragement aléatoire
– Nota : ces modèles ne s'excluent pas les uns les autres !
Méthodes de randomisation : résumé
Approche
Utilité
Avantages
Inconvénients
Tirage au sort simple
Trop grand nombre de candidats
On peut accepter que certains
candidats n’obtiennent rien
Approche connue
Facile à mettre en œuvre
Facile à comprendre
Approche qui peut être mise en
œuvre dans le cadre de programme
s’adressant au public en général
Le groupe témoin peut ne pas
coopérer
Attrition différentielle
Inclusion progressive
Extension du programme dans le
temps
En bout de course, tout le monde
bénéficie du programme
Approche simple à comprendre
Les contraintes sont faciles à
expliquer
Le groupe témoin va se comporter
comme on s’y attend afin de
bénéficier du programme plus tard
Les attentes par rapport au
traitement peuvent avoir un impact
sur le comportement à court terme
L’impact à long terme est difficile à
mesurer
Tout le monde doit obtenir quelque
chose à un moment ou à un autre
mais les ressources ne sont pas
suffisantes pour que tout le monde
bénéficie du programme toute
l’année
Plus grand nombre de point de
données que pour l’inclusion
progressive
Difficulté pour mesurer l’impact à
long terme
Le programme n’est pas accessible à
tous les candidats
Lorsque le niveau d’adoption est bas
mais qu’il peut facilement être
impacté par des encouragements
Possibilité de randomiser au niveau
individuel, même lorsque le
programme n’est pas randomisé à ce
niveau
Mesure l’impact sur les personnes
sensibles aux encouragements
L’encouragement doit être suffisant
pour induire un changement au
niveau de l’adoption du programme
L’encouragement peut avoir un effet
direct
Rotation
Encouragement
Plan du cours
•
•
•
•
Unité de de randomisation
Traitements multiples
• Parfois il est difficile de choisir parmi plusieurs
interventions possibles
• Vous pouvez tirer ces programmes au sort
• Est-ce que cela nous apprend quelque chose sur les
avantages de l’une ou l’autre intervention ?
• Avez-vous un groupe témoin ?
Modèle des programmes multiples
La rotation
Programme 1
Programme 2
Programme 3
Traitements croisés
• Tester différentes composantes du programme dans
différentes combinaisons
• Tester pour voir si les composantes doivent
s'additionner ou s'exclure ?
• Quelle est la combinaison la plus efficace au point de
vue du coût ?
• Avantage : situation « gagnant-gagnant » pour les
organisations ; cela peut aider à répondre aux
questions qu’elles se posent, au-delà du simple
« impact » !
Varier l‘intensité d'un programme
• On veut pouvoir mesurer l’importance des
externalités
– Pas forcément un problème
• Solution : double randomisation
• 1. On randomise l’intensité de traitement assignée à
chaque groupe
– Par exemple école avec 10% de traité, écoles avec 20%,
50%,75%, etc…
2. On randomise à nouveau à l’intérieur des groupes
3. Pour mesurer les externalités : comparer les contrôles
dans le groupe avec beaucoup de traités et les contrôles
avec peu de traités
La stratification
• Objectif : équilibrer l’échantillon lorsqu’il est de
petite taille
• De quoi s’agit-il ?
– On divise l’échantillon en différents sous-groupes
– On sélectionne un groupe Test et un groupe Témoin dans
chaque sous-groupe
• Que se passerait-il si l’on ne stratifiait pas ?
57
Quand faut-il stratifier ?
• En présence de variables qui pourraient avoir un impact
important sur le résultat
• En présence de sous-groupes qui présentent un intérêt
particulier
• La stratification est d’autant plus importante si l'on a peu de
données
• Il est complexe de stratifier sur plusieurs variables
• Plus on stratifie, moins le tirage au sort est transparent
• Il est également possible de stratifier par rapport à des
variables d’indice que vous avez créées
58
Annexes
Tirer au sort dans Excel

Tirer au sort dans la bulle

Transcription

Documents pareils

Comment traduire le site très facilement vers le français (et d`autres

Iceberg

FORMATION EN TRADUCTION JURIDIQUE À DISTANCE

Préface Traduction-Médiation

Des électrodes capables de traduire la parole dans toutes les langues

de l`art de traduire les langues anciennes

comment traduire - Bridget`s English pages.

Rapport Espagnol

Traduire la ville : Le Lisbonne de Castelo Branco

Comment traduire du texte ou des pages Web ?