Modélisation hiérarchique, pooling partiel et l`interrogation des

Modélisation hiérarchique, pooling partiel et
l’interrogation des requêtes virtuelles
Andrew Gelman
Département de Statistique et Département des Science Politique,
Columbia University, New York
En visite à ENSAE, Paris
Merci à David Park, Boris Shor, Joe Bafumi, Yair Ghitza, Yu-Sung Su, Ken
Shirley, Sharad Goel, David Rothschild, Doug Rivers, Wei Wang, François Briatte
Paris Machine Learning Meetup, 16 oct 2013
1/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
2/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Une analyse hiérarchique
I
On s’intéresse aux liens entre la politique et les inégalités
économiques
I
Nous avons étudié les votes des riches et pauvres dans les 50
États américains
I
Je vous montrerai une série de modèles
3/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
États riches et pauvres, électeurs riches et pauvres
Le premier modèle
Le deuxième modèle
0.8
0.7
0.6
0.5
0.5
0.4
Connecticut
0.1
0.2
0.3
0.2
Ohio
0.4
0.6
Ohio
Connecticut
Mississippi
0.3
Probability Voting Rep
0.7
Mississippi
0.1
Probability Voting Rep
0.8
0.9
Varying−intercept, varying−slope model, 2000
0.9
Varying−intercept model, 2000
−2
−1
0
1
2
Income
−2
−1
0
1
2
Income
4/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
L’inférence . . .
5/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
. . . et la réfutation !
I
Les critiques du blogueur “Daily Kos”:
I
I
Les critiques des inférences:
“While Gelman claims only the under-$20K white demo went
for Obama, the results were far different. Per the exit poll —
real voters — Obama won all whites: 54-45 percent for those
making under $50K, and 51-47% for those making over $50K.
. . . New Hampshire is solidly Blue unlike Gelman’s maps, 58-40
— one of the most obvious misses in Gelman’s analysis. . . . ”
Les critiques de la méthode:
“Gelman inexplicably avoids using exit poll data . . . while exit
polls have their own margin of errors and sample composition
problems, they sure as heck beat anything done over the
telephone.”
6/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Après le changement du modèle
7/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Un graphe pour comprendre et critiquer nos inférences
8/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Les attitudes sur le paiment pour les “chèques-éducation”
9/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Les données ne parlent pas toujours d’elles-même
10/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
L’évolution des attitudes sur la peine de mort
11/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Par démographie
12/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Tendances dans les États
13/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Les moyennes et les tendances
14/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Variation non incluse dans le modèle
15/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Tendances selon l’ethnicité et le sexe
16/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Comparaison par le niveau d’éducation
17/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Focus sur deux États (après avoir soustrait la moyenne
nationale): Les données et les inférences
18/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
4
●
●
●
●
●
●
XBox
Andrew Gelman
State
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
M
Education
Party ID
C
Age
Li
be
ra
od l
er
at
on
e
se
rv
at
Ba
ive
ra
ck
O
ba
Jo
m
hn
a
M
cC
ai
n
O
th
er
te
Fr
Sc
om
ho
H
ol
S
G
ra
du
So
at
m
e
e
C
C
ol
ol
le
le
ge
ge
G
ra
du
at
Ba
e
Q
ttl
ua
e
gr
si
−b
ou
at
nd
tle
g
So rou
nd
lid
O
ba
So
m
lid
a
R
om
ne
y
D
em
oc
R
r
at
ep
ub
lic
an
O
th
er
65
+
●
●
ig
h
ra
du
a
4
−6
45
0%
H
tG
25%
id
n'
9
−4
−2
30
●
●
18
Race
D
c
th
er
pa
ni
●
●
O
●
is
Sex
H
te
ac
k
Bl
75%
W
hi
50%
M
al
e
Fe
m
al
e
2012: Le sondage de Xbox
100%
Ideology
●
●
2008 Vote
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
Modélisation hiérarchique . . . requêtes virtuelles
●
●
●
●
●
●
●
2008 Electorate
19/25
2012: Les données brutes
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
50%
●
●
●
●
Two−party Obama Support
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
45%
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
40%
●
●
●
●
●
●
35%
Sep. 24
Oct. 01
Oct. 08
●
Oct. 15
Xbox Raw
Oct. 22
Oct. 29
Nov. 05
Pollster.com
20/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
2012: Les données ajustées
Two−party Obama Support
60%
55%
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
50%
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
45%
Sep. 24
Oct. 01
Oct. 08
Oct. 15
MRP Adjusted Xbox Estimates
Oct. 22
Oct. 29
Nov. 05
Pollster.com
21/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
L’interrogation des requêtes virtuelles
22/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Le but du jeu
C’est joli . . . mais nous voulons plus:
I
Des divisions de populations plus petites
I
Compairaisons à partir des donnés brutes
I
Comprendre les effets du modéle et du pooling partiel
23/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
24/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles
Résumé
I
Le modélisation hiérarchique, c’est une technique trés flexible
I
MRP
I
L’interrogation des requêtes virtuelles
I
On doit faire plus de recherche sur le modélisation bayésienne
avec plusieurs facteurs (géographie, age, sexe, education, état
civil, . . . , et toutes les interactions !)
I
Aussi on a besoin de recherche sur les méthodes pour
comprendre le modèle en contexte des données
25/25
Andrew Gelman
Modélisation hiérarchique . . . requêtes virtuelles