Erreur de prédiction

Transcription

Erreur de prédiction
Erreur de prédiction
Hélène Milhem
Institut de Mathématiques de Toulouse, INSA Toulouse, France
IUP SID, 2011-2012
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
1 / 27
P LAN
Introduction
Erreur de prédiction
I
I
I
Définition
Décomposition
Estimation
Estimation par pénalisation Cp , AIC, BIC.
Estimation par simulation
I
I
Validation croisée
Bootstrap
F
F
F
Estimateur naïf
Estimateur out-of-bag
Estimateur .632-bootstrap
Remarques
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
2 / 27
Introduction
La performance du modèle issu d’une méthode d’apprentissage
s’évalue par sa capacité de prédiction. La mesure de cette
performance est très importante.
Elle permet d’opérer une sélection de modèle dans une famille
associée à la méthode d’apprentissage.
Elle guide le choix de modèle en comparant chacun des modèles
optimisés à l’étape précédente.
Elle fournit, tous choix faits, une mesure de la qualité ou de la
confiance à accorder à la prévision.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
3 / 27
Introduction
Trois stratégies sont proposées
1
Un partage de l’échantillon (apprentissage, validation, test) afin de
distinguer estimation du modèle et estimations de l’erreur de
prédiction.
2
Une pénalisation de l’erreur d’ajustement par la complexité du
modèle.
3
Un usage intensif du calcul (computational statistics) par la mise
en oeuvre de simulations..
Le choix dépend de plusieurs facteurs dont la taille de l’échantillon
initial, la complexité du modèle envisagé, la variance de l’erreur, la
complexité des algorithmes, c-à-d le volume de calcul admissible.
L’estimation de l’erreur de prédiction est donc un élément central de la
mise en place de la stratégie de data-mining.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
4 / 27
Définition
Soient Y la variable à prédire, X la variable p-dimensionnelle ou
l’ensemble des variables explicatives, F la loi conjointe de Y et de X,
z = {(x1 , y1 ), . . . , (xn , yn )} et
Y = φ(X) + le modèle à estimer avec E() = 0, Var () = σ 2 et indépendant de X ;
X, comme chacun des xi est de dimension p.
L’erreur de prédiction est définie par
n h
io
b
EP (z, F ) = EF Q Y , φ(X)
où Q est une fonction de perte.
Interprétation : Erreur mesurée par Q si les observations (X , Y ) étaient
générées par la loi jointe F alors que le modèle appris sur D est φ̂.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
5 / 27
Définition
Si Y est quantitative :
I
I
Q(y , yb) = (y − yb)2 : fonction de perte quadratique moyenne
observée.
Q(y , yb) = |y − yb|, plus robuste car moins sensible aux valeurs
extrêmes. Mais cette fonction de perte nécessite des algorithmes
d’optimisation plus complexes et pas nécessairement à solution
unique.
Si Y est qualitative, alors Q est une indicatrice de mals classés
Q(y , yb) = 1I{y 6=yb} : erreur de classification.
Dans le cas quantitatif, l’estimation du modèle par minimisation de EP
revient à une approximation de la fonction φ et la solution est
l’espérance conditionnelle (connaissant l’échantillon).
Dans le cas qualitatif, c’est la classe la plus probable désignée par le
mode conditionnel qui est prédite.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
6 / 27
Décomposition
L’erreur de prédiction se décompose dans le cas quantitatif de la façon
suivante.
Soit x0 un point de Rp .
n
o2
b
EP (x0 ) = EF Y − φ(x0 ) |X = x0
oi2
n
h
o
i2
h n
b 0)
b 0 ) − EF φ(x
b 0 ) − φ(x) + EF φ(x
= σ 2 + EF φ(x
= σ 2 + Biais2 + Variance.
En général, plus un modèle (la famille des fonctions φ admissibles) est
complexe, plus il est flexible et peut s’ajuster aux données observées
et donc plus le biais est réduit. Par contre, la partie variance augmente
avec le nombre de paramètres à estimer et donc avec cette
complexité.
Objectif : rechercher un meilleur compromis entre biais et variance afin
de minimiser le risque quadratique.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
7 / 27
Estimation
Le premier type d’estimation à considérer exprime la qualité
d’ajustement du modèle sur l’échantillon observé.
n
i
1X h b
Q
y
,
φ(x
)
.
Ec
=
i
i
P
n
i=1
I
Estimation biaisée, car trop optimiste, de l’erreur de prédiction : elle
est liée aux données qui ont servi à l’ajustement du modèle et est
d’autant plus fiable que le modèle est complexe.
I
Estimation qui ne dépend que de la partie "biais" de l’erreur de
prédiction et ne prend pas en compte la partie "variance" de la
décomposition.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
8 / 27
Estimation
Idée : Calculer Ec
P sur un échantillon indépendant n’ayant pas
participé à l’estimation du modèle. Ainsi on divise l’échantillon en
3 parties respectivement appelées apprentissage, validation et
test : D = DAppr ∪ DValid ∪ DTest .
1
Ec
P (DAppr ) est minimisée pour estimer un modèle φ̂.
2
Ec
P (DValid ) sert à la comparaison des modèles au sein d’une même
famille afin de sélectionner celui qui minimise cette erreur,
3
Ec
P (DTest ) est utilisée pour comparer entre eux les meilleurs
modèles de chacune des méthodes considérées.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
9 / 27
Estimation
Cette solution n’est acceptable que si la taille de l’échantillon initial est
importante, sinon
la qualité de l’ajustement est dégradée car n est petit,
la variance de l’estimation de l’erreur peut être importante et ne
peut être estimée.
Si la taille de l’échantillon est insuffisante, la sélection de modèle est
basée sur une estimation de l’erreur de prédiction faisant appel soit à
une pénalisation soit à des simulations.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
10 / 27
Estimation avec pénalisation
L’erreur de prédiction se décompose en
EP = Ec
P (DAppr ) + Pénalité
qui est l’estimation par resubstitution ou taux d’erreur apparent plus
une pénalité qui corrige le biais par abus d’optimisme.
Il s’agit d’estimer cet optimisime pour apporter une correction et ainsi
une meilleure estimation de l’erreur recherchée.
Cette correction est liée à l’estimation de la variance dans la
décomposition en biais et variance de l’erreur ou c’est encore une
pénalisation associée à la complexité du modèle.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
11 / 27
Estimation avec pénalisation
Le CP de Mallows fut le premier critère visant à une meilleure
estimation de l’erreur de prédiction que la seule considération de
l’erreur d’ajustement (ou le R 2 ) dans le modèle linéaire.
d 2
CP = Ec
P +2 s
n
où d est le nombre de paramètres du modèle, n le nombre
d’observations et s2 une estimation de la variance de l’erreur par
un modèle de faible biais.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
12 / 27
Estimation avec pénalisation
Le critère d’Akaike (AIC) se présente sous une forme similaire
mais plus générale. Basé sur un critère de déviance, il s’applique
en effet à tout modèle estimé par minimisation d’une
log-vraisemblance log(L).
d
AIC = −2 log(L) + 2 .
n
I
I
I
Il suppose que la famille de densités considérées pour modéliser la
loi de Y contient la "vraie" densité. Dans le cas gaussien à variance
connue, moindres carrés et déviance coïncident, AIC est équivalent
à CP .
Il est facile de choisir le modèle présentant le plus faible AIC parmi
ceux considérés, ce qui revient à minimiser un critère de
vraisemblance pénalisée.
Celui-ci n’est vérifié qu’asymptotiquement d’où la motivation de
proposer des critères modifiés plus adaptés à de petits
échantillons.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
13 / 27
Estimation avec pénalisation
Une argumentation de type bayésienne conduit à un autre critère
BIC (Bayesian information criterion) qui cherche,
approximativement, le modèle associé à la plus grande probabilité
a posteriori dans le cadre de la maximisation d’une
log-vraisemblance.
d
BIC = −2 log(L) + log(n) .
n
I
I
I
On montre dans le cas gaussien et en supposant la variance
connue que BIC est proportionnel à AIC avec le facteur 2 remplacé
par log(n).
Si n > e2 ≈ 7.4, BIC tend à pénaliser plus lourdement les modèles
complexes.
Asymptotiquement, on montre que la probabilité pour BIC de
choisir le bon modèle tend vers 1 lorsque n tend vers l’infini. Ce
n’est pas le cas d’AIC qui tend alors à choisir des modèles trop
complexes. Néanmoins à taille fini, BIC risque de se limiter à des
modèles trop simples.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
14 / 27
Validation croisée
Idée : Itérer l’estimation de l’erreur sur plusieurs échantillons de
validation puis en calculer la moyenne.
C’est indispensable pour réduire la variance et améliorer la précision
lorsque la taille de l’échantillon initial est trop réduite pour en extraire
un échantillon de validation ou test de taille suffisante.
Découper aléatoirement l’échantillon D en K parts de tailles
approximativement égales selon une loi uniforme.
Répéter K fois l’opération qui consiste à mettre de côté l’une des
parties, estimer le modèle sur les K − 1 parties restantes, calculer
l’erreur sur chacune des observations n’ayant pas participé à
l’estimation.
Moyenner toutes ces erreurs pour aboutir à l’estimation par
validation croisée.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
15 / 27
Validation croisée
Soit τ : {1, . . . , n} → {1, . . . , K } la fonction d’indexation qui, pour
chaque observation, donne l’attribution uniformément aléatoire de sa
classe.
n
1X
d
Q(yi , φb(−τ (i)) (xi )),
ECV =
n
i=1
où φb(−k ) désigne l’estimation de φ sans prendre en compte la k ième
partie de l’échantillon.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
16 / 27
Validation croisée
Le choix K = 10 est le plus courant, cas par défaut dans R.
Le choix K = n (delete-one cross validation) n’est possible que
pour n petit à cause du volume des calculs et l’estimation
présente une variance souvent importante (chaque modèle estimé
trop similaire au modèle estimé avec toutes les obsevations).
En revanche si K est petit (K = 5), la variance sera plus faible
mais le biais devient un problème dépendant de la façon dont la
qualité de l’estimation se dégrade avec la taille de l’échantillon.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
17 / 27
Validation croisée
Minimiser l’erreur estimée par validation croisée est une approche
largement utilisée pour optimiser le choix d’un modèle au sein d’une
famille paramétrée.
φb est défini par
θb = argminEd
CV (θ).
θ
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
18 / 27
Bootstrap
Idée : Approcher par simulation (Monte-Carlo) la distribution d’un
estimateur lorsque l’on ne connaît par la loi de l’échantillon ou, plus
souvent, lorsque l’on ne peut pas supposer qu’elle est gaussienne.
Principe : Substituer, à la distribution de probabilité inconnue F dont
est issu l’échantillon d’apprentissage, la distribution empirique Fn qui
donne un poids 1/n à chaque réalisation. Ainsi on obtient un
échantillon de taille n dit échantillon bootstrap selon la distribution
empirique Fn par n tirages aléatoires avec remise parmi les n
observations initiales.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
19 / 27
Bootstrap
Il est facile de construire un grand nombre d’échantillons
bootstrap (B = 100) sur lesquels calculer l’estimateur concerné.
La loi simulée de cet estimateur est une approximation
asymptotiquement convergente sous des hypothèses
raisonnables de la loi de l’estimateur.
Cette approximation fournit ainsi des estimations du biais, de la
variance, donc d’un risque quadratique et même des intervalles
de confiance (avec B plus grand) de l’estimateur sans hypothèse
de normalité sur la vraie loi.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
20 / 27
Bootstrap
E STIMATEUR NAÏF
Soit D∗ un échantillon bootstrap
des données
∗
∗
∗
∗
∗
D = (x1 , y1 ), . . . , (xn , yn ) .
L’estimateur plug-in de l’erreur de prédiction EP (D, F ) est défini par
n
EP (D∗ , Fn ) =
1X
Q {yi , φD∗ (xi )} ,
n
i=1
où φD∗ désigne l’estimation de φ à partir de l’échantillon bootstrap.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
21 / 27
Bootstrap
L’estimateur plug-in conduit à l’estimation bootstrap de l’erreur
moyenne de prédiction EF [EP (D, F )] par
#
" n
X
1
Q {yi , φD∗ (xi )} .
EBoot = EFn [EP (D∗ , Fn )] = EFn
n
i=1
Cette estimation est approchée par simulation
B
n
1X1X
E\
=
Q {yi , φD∗b (xi )} .
Boot B
n
b=1
i=1
Cette estimation de l’erreur de prédiction est généralement biaisée par
optimisme.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
22 / 27
Bootstrap
E STIMATEUR OUT- OF - BAG
Cette méthode s’inspire de la validation croisée. Elle considère d’une
part, les observations tirées dans l’échantillon bootstrap et d’autre
part, celles qui sont laissées de côté pour l’estimation du modèle mais
retenue pour l’estimation de l’erreur.
n
1X 1 X
E[
=
Q {yi , φD∗b (xi )} ,
oob n
Bi
i=1
b∈Ki
où Ki est l’ensemble des indices b des échantillons bootstrap ne
contenant pas la i ème observation à l’issue des B simulations et
Bi = |Ki | le nombre de ces échantillons.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
23 / 27
Bootstrap
B doit être suffisamment grand pour que toute observation n’ait
pas été tirée au moins une fois ou bien les termes avec Ki = 0
sont supprimés.
L’estimation E[
oob résout le problème d’un biais optimiste auquel
est confrontée E\
boot mais n’échappe pas au biais introduit par la
réduction tel qu’il est signalé pour l’estimation par validation
croisée ECV .
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
24 / 27
Bootstrap
E STIMATEUR .632- BOOTSTRAP
La probabilité qu’une observation soit tirée dans un échantillon
bootstrap est
h
i
1
1 n
∗b
P xi ∈ x
≈ 1 − ≈ 0, 632.
=1− 1−
n
e
Très approximativement, la dégradation de l’estimation provoquée par
le bootstrap et donc la surévaluation de l’erreur sont analogues à celle
de la validation croisée avec K = 2.
Ainsi on compense l’excès d’optimisme du taux apparent d’erreur et
l’excès de pessimisme du bootstrap out-of-bag par une combinaison
c
d
E[
.632 = 0.368EP + 0.632Eoob .
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
25 / 27
Remarques
Toutes les estimations de l’erreur de prédiction considérées
(pénalisation, validation croisée, bootstrap) sont
asymptotiquement équivalentes. Il n’est pas possible de savoir à n
fini, laquelle sera la plus précise.
Conceptuellement, le bootstrap est plus compliqué et
pratiquement encore peu utilisé. Néanmoins cet outil joue un rôle
central dans les algorithmes de combinaisons de modèles en
association avec une estimation out-of-bag de l’erreur.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
26 / 27
Conclusion
L’estimation d’une erreur de prédiction est une opération délicate aux
conséquences importantes. Il est donc nécessaire
d’utiliser le même estimateur pour comparer l’efficacité des
méthodes,
de se montrer très prudent, en dehors de tout système
d’hypothèses probabilistes, sur le caractère absolu d’une
estimation dans l’objectif d’une certification.
Dans cette situation, le recours à un échantillon test de bonne taille est
difficilement contournable, alors qu’en situation de choix de modèle au
sein d’une même famille, un estimateur (petit échantillon de validation,
validation croisée) plus écomnomique est adapté en supposant
implicitement que le biais induit est identique d’un modèle à l’autre.
H. Milhem (IMT, INSA Toulouse)
Erreur de prédiction
IUP SID 2011-2012
27 / 27