doc4on1 - GRAppA
download 
Plainte Transcription
4on1 - GRAppA
Les biais Langage et erreur Bilans Bibliographie Les biais Langage et erreur Bilans Bibliographie Langages de représentation Représentation des exemples à l'aide de X ; Learning as search représentation des hypothèses à l'aide de H ; astuce de représentation [Feigenbaum, 1977] : X ⊂ H ; Fabien Torre relation de subsomption : H × H et test de subsomption ; correction ∀e ∈ A/− : h 6 e et complétude ∀e ∈ A/+ : h e GRAppA & Mostrare structuration de H par ; Mercredi 23 et 30 septembre 2009 E , espace des versions [Mitchell, 1982] : les hypothèses de H correctes et complètes (hypothèses consistantes avec A) ; algorithmes descendants ou ascendants. Learning as search Les biais Langage et erreur Bilans Fabien Torre Bibliographie Learning as search Les biais Langage et erreur Bilans Fabien Torre Bibliographie Dénitions Se passer des biais Diérents biais Construction d'un système non biaisé [Mitchell, 1980] (1) Dénition : Biais Tout moyen de préférer une hypothèse à une autre, alors qu'elles sont équivalentes pour le problème d'apprentissage. biais de langage : xe la forme de la solution, essentiellement le choix de H ; biais de recherche : toute stratégie pour parcourir l'espace des hypothèses ; Choix d'un H sans biais : doit pouvoir caractériser n'importe quel étiquetage des exemples (H doit pulvériser X ) ; sans contraindre la forme des hypothèses ; une hypothèse est un sous-ensemble de X/+ . biais de validation : le critère d'arrêt de la recherche. ... connotation négative d'un passer des biais ? Learning as search apprentissage biaisé, comment se Fabien Torre Learning as search Fabien Torre Les biais Langage et erreur Bilans Bibliographie Les biais Langage et erreur Bilans Bibliographie Se passer des biais Se passer des biais Construction d'un système non biaisé [Mitchell, 1980] (2) Construction d'un système non biaisé [Mitchell, 1980] (3) Classication sans biais : Trouver une procédure de recherche sans biais : refus de choisir une des hypothèses de E ; construire tout l'espace des versions E ; un exemple est prédit positif que s'il est couvert par hypothèses de l'espace des versions ; h ∈ E ⇔ (A/+ ⊆ h) ∧ (A/− ∩ h = ∅) les hypothèses de l'espace des versions se distinguent les unes des autres par les exemples étrangers à l'ensemble d'apprentissage qu'elles contiennent ou non ; une autre caractérisation de E est donc : E = h | h = A/+ ∪ E où E ⊆ X − A un exemple est prédit négatif s'il n'est couvert par hypothèses de l'espace des versions ; toutes les aucune des si un exemple est classé par le système, c'est qu'il a été vu en apprentissage ! En eet : \ [ h = A/+ et X − h = A/− h∈E h∈E sinon il n'y a pas unanimité au sein de E et l'exemple reste de classe inconnue. Learning as search Les biais Langage et erreur Bilans Fabien Torre Bibliographie Learning as search Les biais Langage et erreur Justier les biais Biais et variance Justication des biais Compromis biais / variance Fabien Torre Bibliographie Bilans Un concept cible c , pas nécessairement dans H ; Les biais sont donc nécessaires pour éviter le par c÷ur : ils permettent la généralisation, la compression, le saut inductif... h∗ la meilleure approximation dans H (en terme d'erreur en Justication des biais Connaissances liées à un problème, à un domaine particulier, et rassemblées sous le nom théorie du domaine ; privilégier la simplicité de la solution (rasoir d'Occam) ; généralisation) ; h l'hypothèse de H qui est eectivement apprise. Décomposition de erreur(h) Entre c et h∗ , on commet une erreur du au au choix de H ; indication sur les utilisations de la prédiction ; entre h∗ et h, c'est l'erreur du à la l'algorithme et à l'échantillon. connaissance de la source des exemples ; analogie avec des cas déjà traités. biais, c'est-à-dire variance c'est-à-dire à Un apprenant avec une variance importante est dit Learning as search Fabien Torre Learning as search instable. Fabien Torre Les biais Langage et erreur Bilans Bibliographie Les biais Langage et erreur Vapnik-Chervonenkis Vapnik-Chervonenkis Vapnik-Chervonenkis (1) Vapnik-Chervonenkis (2) Dénition : Pulvérisation Un ensemble A ⊆ X est dit pulvérisé par H ssi pour chaque étiquetage possible des exemples de A, H contient une hypothèse qui sépare parfaitement les classes. Dénition : VC dimension La VC dimension d'un ensemble d'hypothèses H est la taille n du plus grand ensemble d'exemples A que H parvient à pulvériser. ... il existe un Learning as search Les biais Bibliographie Exercices pratiques : Dans R2 : une droite ? parallèle aux axes ? rectangles ? cercles ? hyperplans dans Rn ? trois droites qui votent ? dimension VC du H sans biais de Tom Mitchell ? VCdim d'une combinaison de classieurs dont la VCdim est nie ? A de taille n tel que pour tout étiquetage... Langage et erreur Bilans Fabien Torre Bibliographie Learning as search Les biais Langage et erreur Vapnik-Chervonenkis Fiche signalétique Vapnik-Chervonenkis (3) Fiche signalétique Borne sur l'erreur [Burges, 1998] : avec une probabilité 1 − λ, s n ) + 1] − log ( λ ) VC (H).[log ( VC2(H) 4 e (h ∈ H) ≤ eA (h) + n avec plus d'exemples pour apprendre, on fait moins d'erreurs en prédiction ; attention, c'est une Bilans Fabien Torre Bibliographie Préciser la nature de E ; indiquer le choix de H ; évaluer la VCdim de H ; expliciter le test de subsomption ; on retrouve le compromis biais/variance ; Learning as search Bilans borne... Fabien Torre méthode ascendante ou descendante ? dire les biais de la méthode (de langage, de recherche et de validation). Learning as search Fabien Torre Les biais Langage et erreur Bilans Bibliographie Les biais Langage et erreur Citations Citations Un bilan en citations I Un bilan en citations II Apprendre à partir d'exemples The power of a generalization system follows directly from its biases. Tom Mitchell. Langage H et erreur de biais Trouver des biais L'imagination est plus importante que le savoir. Si je les ai mangées, qui m'a donné une bouche ? Il n'y a pas de réponse dans ton vocabulaire. William Golding, Chris Martin. horoscope du 25 mai 1998, RFM. Learning as search Les biais Langage et erreur Fonder les biais L'imagination, ce n'est pas le mensonge. les enfants. Françoise Hardy, Bilans Bibliographie L'importance des biais Dans l'enseignement des sciences, l'exemple vaut mieux que la théorie. Isaac Newton, d'après 60 gags de Boule et Bill . De la nécessité des biais Avoir tous les avis, c'est n'en avoir aucun. Bilans Fabien Torre Bibliographie Learning as search Les biais Langage et erreur Albert Einstein. Daniel Pennac, Messieurs Bilans Fabien Torre Bibliographie Citations Un bilan en citations III Bibliographie I Burges, C. J. (1998). A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2 :121167. No Free Lunch Theorem Y a pas d'cheval qu'on peut pas monter, mais y a pas d'homme qu'il peut pas jeter. Alors quand tu voudras monter un mustang, oublie pas qu' c'est p't-être pas toi qui tiendras d'ssus. Feigenbaum, E. A. (1977). The art of articial intelligence : Themes and case studies of knowledge engineering. In Reddy, R., editor, Proceedings of the 5th International Joint Conference on Articial Intelligence, pages 10141029. Morgan Kaufmann. Marion Zimmer Bradley, Redécouverte. Learning as search Fabien Torre Learning as search Fabien Torre Les biais Langage et erreur Bilans Bibliographie Bibliographie II Mitchell, T. M. (1980). The need for biases in learning generalizations. In Readings in Machine Learning, pages 184191. Morgan Kaufmann. Published in 1991. Mitchell, T. M. (1982). Generalization as search. Articial Intelligence, 18(2) :203226. Learning as search Fabien Torre
