précision - Eve Alfort

Comment un étudiant peut-il
évaluer ses propres méthodes
d’apprentissage ?
– Application à l’aide de la plateforme Moodle –
Loïc Desquilbet
Département des Sciences Biologiques et Pharmaceutiques
Ecole nationale vétérinaire d’Alfort
Version v16
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
2
Connaissance, précision, & états de connaissance
▪ % de réponses correctes = note de « connaissances »
▪ Moodle emploie le mot « précision » pour le % de réponses correctes ⇒ le mot
« précision » sera toujours employé dans le sens là dans ce diaporama
▪ Fournir une réponse correcte / incorrecte à une question traduit un état de
connaissance qui dépend de ce que pensait l’étudiant en répondant
▪ 4 états de connaissance
- La connaissance conscientisée
- La lucidité, ou « manque de connaissance » conscientisé
- L’incertitude, ou connaissance non conscientisée
- L’illusion, ou « manque de connaissance » conscientisée en « présence de
connaissance »
3
Le méta-cognition, en pédagogie
▪ « Méta » : indique en science l’auto-réflexion (métalangage, méta-analyses, …)
▪ Méta cognition – définition générale
Activité mentale sur ses propres processus mentaux
▪ Méta-cognition – en pédagogie
Activité mentale chez un étudiant lui permettant d’apprécier quantitativement dans
quelle mesure…
… il sait qu’il sait
… il sait qu’il ne sait pas
▪ Evaluation de l’état de connaissance de l’étudiant
En confrontant sa connaissance au niveau de confiance qu’il a mis dans sa réponse
4
Le degré de certitude
▪ Contexte
Après chaque réponse, l’étudiant doit estimer la probabilité que sa réponse soit juste,
autrement dit, son degré de certitude (DC)
▪ 6 intervalles (Leclercq, 1975) : 0%-20%, 20%-40%, 40%-60%, 60%-80%, 80%-100%
▪ 3 intervalles (Gardner-Madwin, 2003) : 0%-67%, 67%-80%, 80%-100%
⇒ Niveaux utilisés dans Moodle
5
Illustration sur la couleur du cheval de Bourgelat
Etat de connaissance
Niveau de confiance
Connaissance (précision)
Quelle est la couleur du
cheval de Bourgelat ?
Quelle est la couleur du
cheval de Bourgelat ?
Beige
Beige
En répondant à cette question,
j’ai été…
Noire
Noire
Très sûr de moi (> 80%)
Autre
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Processus cognitif
permettant de choisir la
réponse a priori correcte
Processus métacognitif : quantification du niveau
de confiance par l’étudiant ⇔ fournir la
probabilité que sa réponse soit correcte (le DC)
6
Evaluation de l’état de connaissance sur l’illustration
▪ 1ère hypothèse : la couleur du cheval de Bourgelat, qui en avait un, est noire
Quelle est la couleur du
cheval de Bourgelat ?
Beige
En répondant à cette question,
j’ai été…
Noire
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Etat d’incertitude : l’étudiant
savait en étant incertain (manque
de confiance en soi)
7
Evaluation de l’état de connaissance sur l’illustration
▪ 1ère hypothèse : la couleur du cheval de Bourgelat, qui en avait un, est noire
Quelle est la couleur du
cheval de Bourgelat ?
Beige
En répondant à cette question,
j’ai été…
Noire
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Etat de connaissance conscientisée :
l’étudiant avait conscience qu’il
savait
8
Evaluation de l’état de connaissance sur l’illustration
▪ 2ème hypothèse : Bourgelat n’avait pas de cheval
Quelle est la couleur du
cheval de Bourgelat ?
Beige
En répondant à cette question,
j’ai été…
Noire
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Etat de lucidité : l’étudiant avait
conscience qu’il pouvait ne pas savoir
9
Evaluation de l’état de connaissance sur l’illustration
▪ 2ème hypothèse : Bourgelat n’avait pas de cheval
Quelle est la couleur du
cheval de Bourgelat ?
Beige
En répondant à cette question,
j’ai été…
Noire
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Etat d’illusion : l’étudiant ne savait
pas alors qu’il pensait savoir
10
Etats de connaissance en cours d’apprentissage
▪ En début d’apprentissage, l’étudiant…
- En sait peu, et doit être lucide à cet égard (comportement attendu)
- Mais doit être conscient de ce qu’il sait (qualité à rechercher)
▪ En milieu d’apprentissage, l’étudiant…
- Doit en savoir davantage
- Doit rester lucide, et doit avoir conscience de ce qu’il sait
▪ L’étudiant est en fin d’apprentissage…
- S’il en sait beaucoup et s’il en est conscient (comportement attendu)
- S’il est lucide sur le peu de connaissances qu’il n’a pas (encore) acquises (qualité à
rechercher)
11
Signaux d’alerte quant aux méthodes d’apprentissage
▪ L’incertitude
Une connaissance non conscientisée peut …
- … être une connaissance non solide, qui ne va pas perdurer dans le temps
- … conduire l’étudiant à ne pas prendre de décision (et dans l’urgence, ne pas prendre
de décision peut … tuer l’animal)
▪ L’illusion
Le fait de croire que l’on sait alors que l’on ne sait pas peut …
- … être une méconnaissance qui va perdurer dans le temps
- … conduire l’étudiant à prendre une mauvaise décision, ce qui peut aussi tuer l’animal
12
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
13
Quantifier l’état de connaissance
▪ Gardner-Medwin propose la notation suivante*
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Quelle est la couleur du cheval
de Bourgelat ?
Beige
Noire
(1ère hypothèse)
En répondant à cette question,
j’ai été…
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Sous la 1ère hypothèse
Note prenant en compte le DC
choisi : 1 pt
* Moodle reprend cette notation
14
Quantifier l’état de connaissance
▪ Gardner-Medwin propose la notation suivante*
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Quelle est la couleur du cheval
de Bourgelat ?
Beige
Noire
(2ème hypothèse)
En répondant à cette question,
j’ai été…
Très sûr de moi (> 80%)
Autre
Sûr de moi (67%-80%)
Bourgelat n’avait pas
de cheval
Peu sûr de moi (<67%)
Sous la 2ème hypothèse
Note prenant en compte le DC
choisi : -6 pts
* Moodle reprend cette notation
15
De la « note / question » à la « note moyenne / question »
▪ Supposons 4 réponses à 4 questions
Réponse en étant…
Réponse…
Vraie
Vraie
Très sûr
Sûr
Total
Total / question
Note
3
X
2
X
Fausse
Fausse
Peu sûr
X
X
Note pour chaque
question
0
-2
3
3/4 = 0,75
Note moyenne / question
▪ La précision vaut ici 50% (50% de réponses correctes), elle s’exprime toujours en %
▪ La note moyenne / question (Q) n’est pas un %, elle varie entre -6 et +3 ⇒ ne pas
comparer la valeur de la précision à la valeur de la note moyenne / Q
16
Evolution de la note moyenne / question en fonction du DC
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
-2
50
Supposons 100 questions toutes répondues en étant peu sûr
- Si 0% de réponses correctes → 0 pt → 0 pt / question
100
% de réponses
correctes
(précision)
- Si 50% de réponses correctes → 50 + 0 = 50 pts → 0,5 pt / question
-6
- Si 100% de réponses correctes → 100 pts → 1 pt / question
17
Evolution de la note moyenne / question en fonction du DC
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
100
-2
Supposons 100 questions toutes répondues en étant sûr
% de réponses
correctes
(précision)
- Si 0% de réponses correctes → -200 pts → -2 pts / question
- Si 50% de réponses correctes → -100 + 100 = 0 pt → 0 pt / question
-6
- Si 100% de réponses correctes → 200 pts → 2 pts / question
18
Evolution de la note moyenne / question en fonction du DC
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
100
-2
-6
% de réponses
correctes
(précision)
Supposons 100 questions toutes répondues en étant très sûr
- Si 0% de réponses correctes → -600 pts → -6 pts / question
- Si 50% de réponses correctes → -300 + 150 = -150 pts → -1,5 pt / question
- Si 100% de réponses correctes → 300 pts → 3 pts / question
19
Evolution de la note moyenne / question en fonction du DC
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
67
80
-2
100
% de réponses
correctes
(précision)
Les droites se croisent à 67% et 80%
-6
Pour maximiser sa note, et si l’on devait répondre partout avec un seul DC :
- Si les connaissances sont < 67%, il vaudrait mieux répondre partout « peu sûr »
- Si les connaissances sont 67%-80%, il vaudrait mieux répondre partout « sûr »
- Si les connaissances sont > 80%, il vaudrait mieux répondre partout « très sûr »
Détermination des seuils 67% et
80% par Gardner-Medwin
20
Courbe d’adéquation entre précision et DC choisi
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
67
80
100
-2
-6
% de réponses
correctes
(précision)
Courbe représentant la note moyenne attendue par question si l’étudiant répond
à toutes les questions « peu sûr », ou à toutes les questions « sûr », ou à toutes
les questions « très sûr » en adéquation avec son % de réponses correctes (sa
précision)
Ensuite, l’étudiant pourra « individualiser » ses réponses, et espérer qu’il
répondra « très sûr » aux bonnes réponses, et « peu sûr » aux mauvaises !...
21
Etendue des notes moyennes / question
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
100
-2
% de réponses
correctes
(précision)
Borne supérieure de la note moyenne / Q* en prenant en compte le DC
-6
- Si les connaissances = 0%, la note maxi est 0, en répondant en étant peu sûr
- Si les connaissances = 50%, la note maxi est 1,5 : les réponses correctes répondues
en étant très sûr (3 pts / question) et les réponses fausses répondues en étant peu
sûr (0 pt / question), soit une moyenne de 1,5 pt / question
- Si les connaissances = 100%, la note maxi est 3, en répondant en étant très sûr
* Aucune stratégie ne pourra conduire à une note moyenne / Q plus élevée que celle-là
22
Etendue des notes moyennes / question
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
100
-2
-6
% de réponses
correctes
(précision)
Borne inférieure de la note moyenne / Q* en prenant en compte le DC
- Si les connaissances = 0%, la note mini est -6, en répondant en étant très sûr
- Si les connaissances = 50%, la note mini est -2,5 : les réponses correctes répondues
en étant peu sûr (1 pt / question) et les réponses fausses répondues en étant très
sûr (-6 pts / question), soit une moyenne de -2,5 pts / question
- Si les connaissances = 100%, la note mini est 1, en répondant en étant peu sûr
* Aucune stratégie ne pourrait conduire à une note moyenne / Q moins élevée que celle-là
23
Etendue des notes moyennes / question
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
50
67
80
100
-2
-6
% de réponses
correctes
(précision)
Zone dans laquelle va se trouver la note moyenne / question
observée de l’étudiant après avoir pris en compte le DC choisi
24
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
25
Comportements face aux connaissances
▪ Supposons 7 questions auxquelles va répondre un étudiant
▪ Nous allons simuler 11 comportements
- 3 comportements « globaux » = l’étudiant répond aux 7 questions avec un
même DC à toutes ses réponses
- 8 comportements « individualisés » = l’étudiant répond aux 7 questions avec
des DC éventuellement différents entre ses réponses
▪ Nous verrons comment des comportements que nous pourrons nous-mêmes
intuitivement traduire en états de connaissance vont effectivement se classer
comme tels à l’aide de la note moyenne / Q observée, une fois confrontée à la
note moyenne / Q attendue
26
Connaissances « limitées » (< 67%) – Comportement n°1
Réponse en étant…
▪ 1er comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
X
1
X
1
Vraie
X
1
Fausse
X
0
X
0
Fausse
X
0
Fausse
X
0
Vraie
Incertitude
Vraie
Fausse
Précision
Lucidité
3/7 = 0,43 (43%)
–
–
3
Total
Note moyenne / question
0,43
▪
Précision de 43% → Connaissances limitées → il devait globalement être « peu sûr » (< 67%)
▪
Il a répondu partout « peu sûr » ⇒ cohérence entre connaissances et niveau de confiance
▪
Etats de connaissance : lucidité MAIS (un peu d’) incertitude
▪
Avec peu de connaissances (< 67%), l’incertitude est un acceptable défaut de début
d’apprentissage
27
Connaissances « limitées » (< 67%) – Comportement n°1
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0,43
0
50
-2
-6
100
% de réponses
correctes
(précision)
43% de
précision
Le point est sur la droite attendue, l’étudiant s’est montré cohérent dans son niveau
de confiance au regard de ses connaissances
L’étudiant est raisonnablement lucide, mais est aussi dans l’incertitude face aux
quelques connaissances qu’il a acquises
28
Connaissances « limitées » (< 67%) – Comportement n°2
Réponse en étant…
▪ 2ème comportement
Réponse
Très sûr (>80%)
Vraie
X
Vraie
X
Sûr (67%-80%)
Peu sûr (<67%)
Connaissances conscientisées
Vraie
Note
3
3
X
1
X
0
X
0
Fausse
X
0
Fausse
X
0
Incertitude
Fausse
Fausse
Précision
Total
Lucidité
3/7 = 0,43 (43%)
–
–
7
Note moyenne / question
1
▪
Précision de 43% → Connaissances limitées → il devait globalement être « peu sûr » (< 67%)
▪
Il a répondu partout « peu sûr » sauf 2 « très sûr » au bon moment, là où il savait
▪
Etats de connaissance : lucidité + connaissances conscientisés MAIS (un peu d’) incertitude
▪
Avec peu de connaissances (< 67%), les connaissances conscientisées sont une vraie qualité de
début d’apprentissage
29
Connaissances « limitées » (< 67%) – Comportement n°2
Note moyenne / question en prenant en compte le DC choisi
3
1
2
1
0
50
-2
-6
100
% de réponses
correctes
(précision)
43% de
précision
Le point est au dessus de la droite attendue, l’étudiant a réussi à savoir là où il savait,
tout en se montrant réservé là où il ne savait pas
En plus d’être lucide, l’étudiant a des connaissances conscientisées (mais il n’en
savait pas encore suffisamment)
30
Connaissances « limitées » (< 67%) – Comportement n°3
Réponse en étant…
▪ 3ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
X
1
X
1
X
1
X
0
X
0
Vraie
Incertitude
Vraie
Vraie
Fausse
Lucidité
Fausse
Fausse
X
Fausse
X
Précision
Total
-6
Illusion
-6
3/7 = 0,43 (43%)
–
–
-9
Note moyenne / question
-1,29
▪
Précision de 43% → Connaissances limitées → il devait globalement être « peu sûr » (< 67%)
▪
Il a répondu partout « peu sûr » sauf 2 « très sûr » au mauvais moment, là où il ne savait pas
▪
Etats de connaissance : lucidité MAIS (un peu d’) incertitude + illusion
▪
Avec peu de connaissances (< 67%), l’illusion est un vrai défaut de début d’apprentissage
31
Connaissances « limitées » (< 67%) – Comportement n°3
Note moyenne / question en prenant en compte le DC choisi
3
2
1
0
-2
-6
50
-1,29
100
% de réponses
correctes
(précision)
43% de
précision
Le point est en dessous de la droite attendue, l’étudiant a cru savoir alors qu’il ne
savait pas
Tout en étant dans l’incertitude*, l’étudiant était dans l’illusion (de plus, il n’en
savait pas suffisamment !)
* Défaut acceptable avec des connaissances < 67%
32
Connaissances « très élevées » (> 80%) – Comportement n°4
Réponse en étant…
▪ 4ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
Vraie
X
3
Vraie
X
3
Vraie
X
Vraie
X
Vraie
X
3
Vraie
X
3
Fausse
X
Précision
Total
3
Connaissances conscientisées
3
Illusion
-6
6/7 = 0,86 (86%)
–
–
12
Note moyenne / question
1,71
▪
Précision de 86% → Connaissances très élevées → il devait globalement être « très sûr » (> 80%)
▪
Il a répondu partout « très sûr » ⇒ cohérence entre connaissances et niveau de confiance
▪
Etats de connaissance : connaissances conscientisées MAIS (un peu d’) illusion
▪
Avec > 80% de connaissances, l’illusion est un acceptable défaut de fin d’apprentissage
33
Connaissances « très élevées » (> 80%) – Comportement n°4
Note moyenne / question en prenant en compte le DC choisi
1,71
3
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
86% de
précision
Le point est sur la droite attendue, l’étudiant s’est montré cohérent dans son niveau
de confiance au regard de ses connaissances
L’étudiant a raisonnablement des connaissances conscientisées, mais est aussi un peu
dans l’illusion face aux quelques connaissances qu’il n’a pas (encore) acquises
34
Connaissances « très élevées » (> 80%) – Comportement n°5
Réponse en étant…
▪ 5ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
Vraie
X
3
Vraie
X
3
Vraie
X
Vraie
X
Vraie
X
3
Vraie
X
3
Connaissances conscientisées
Lucidité X
Fausse
Précision
Total
3
3
0
6/7 = 0,86 (86%)
–
–
18
Note moyenne / question
2,57
▪
Précision de 86% → Connaissances très élevées → il devait globalement être « très sûr » (> 80%)
▪
Il a répondu partout « très sûr » sauf 1 « pas sûr » au bon moment, là où il ne savait pas
▪
Etats de connaissance : connaissances conscientisées + lucidité
▪
Avec > 80% de connaissances, la lucidité est une vraie qualité de fin d’apprentissage
35
Connaissances « très élevées » (> 80%) – Comportement n°5
Note moyenne / question en prenant en compte le DC choisi
2,57
3
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
86% de
précision
Le point est au dessus de la droite attendue, l’étudiant a réussi à savoir là où il ne
savait pas, tout en sachant là où il savait
En plus d’avoir des connaissances conscientisées et d’en savoir suffisamment,
l’étudiant était lucide
36
Connaissances « très élevées » (> 80%) – Comportement n°6
Réponse en étant…
▪ 6ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Vraie
Peu sûr (<67%)
Note
X
1
X
1
Incertitude
Vraie
Vraie
X
Vraie
X
Vraie
X
3
Vraie
X
3
Fausse
X
Précision
Total
3
Connaissances conscientisées
Illusion
3
-6
6/7 = 0,86 (86%)
–
–
8
Note moyenne / question
1,14
▪
Précision de 86% → Connaissances très élevées → il devait globalement être « très sûr » (> 80%)
▪
Il a répondu partout « très sûr » sauf 2 « pas sûr » au mauvais moment, là où il savait
▪
Etats de connaissance : connaissances conscientisées MAIS (un peu d’) illusion + incertitude
▪
Avec > 80% de connaissances, l’incertitude est un vrai défaut de fin d’apprentissage
37
Connaissances « très élevées » (> 80%) – Comportement n°6
Note moyenne / question en prenant en compte le DC choisi
3
1,14
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
86% de
précision
Le point est en dessous de la droite attendue, l’étudiant n’a pas réussi à savoir là où il
savait
En plus d’être un peu dans l’illusion*, l’étudiant était dans l’incertitude
* Défaut acceptable avec des connaissances > 80%
38
Connaissances « élevées » (67%-80%) – Comportement n°7
Réponse en étant…
▪ 7ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Fausse
X
-2
Fausse
X
-2
Précision
Total
5/7 = 0,71 (71%)
–
–
6
Note moyenne / question
0,86
▪
Précision de 71% → Connaissances élevées → il devait globalement être « sûr » (67%-80%)
▪
Il a répondu partout « sûr » ⇒ cohérence entre connaissances et niveau de confiance
▪
Etat de connaissance : situation intermédiaire, ni dans la lucidité ni dans l’illusion, ni dans la
connaissance conscientisée ni dans l’incertitude
39
Connaissances « élevées » (67%-80%) – Comportement n°7
Note moyenne / question en prenant en compte le DC choisi
3
0,86
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
71% de
précision
Le point est sur la droite attendue, l’étudiant s’est montré cohérent dans son niveau
de confiance au regard de ses connaissances
Il ne présentait pas de qualité ou de défaut d’apprentissage particulier
40
Connaissances « élevées » (67%-80%) – Comportement n°8
Réponse en étant…
▪ 8ème comportement
Réponse
Très sûr (>80%)
Vraie
X
Vraie
X
Sûr (67%-80%)
Peu sûr (<67%)
Note
Connaissances conscientisées
3
3
Vraie
X
2
Vraie
X
2
Vraie
X
2
Fausse
X
-2
Fausse
X
-2
Précision
Total
5/7 = 0,71 (71%)
–
–
8
Note moyenne / question
▪
Précision de 71% → Connaissances élevées → il devait globalement être « sûr » (67%-80%)
▪
Il a répondu partout « sûr » sauf 2 « très sûr » au bon moment, là où il savait
▪
Etat de connaissance : connaissances conscientisés
1,14
41
Connaissances « élevées » (67%-80%) – Comportement n°8
Note moyenne / question en prenant en compte le DC choisi
3
1,14
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
71% de
précision
Le point est au dessus de la droite attendue. Dans cette situation, l’étudiant a réussi
à savoir là où il savait ; l’étudiant avait des connaissances conscientisées
42
Connaissances « élevées » (67%-80%) – Comportement n°9
Réponse en étant…
▪ 9ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Fausse
Lucidité
Fausse
Précision
Total
X
0
X
0
5/7 = 0,71 (71%)
–
–
10
Note moyenne / question
▪
Précision de 71% → Connaissances élevées → il devait globalement être « sûr » (67%-80%)
▪
Il a répondu partout « sûr » sauf 2 « pas sûr » au bon moment, là où il ne savait pas
▪
Etat de connaissance : lucidité
1,43
43
Connaissances « élevées » (67%-80%) – Comportement n°9
Note moyenne / question en prenant en compte le DC choisi
3
1,43
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
71% de
précision
Le point est au dessus de la droite attendue. Dans cette situation, l’étudiant a réussi
à savoir là où il ne savait pas ; l’étudiant était lucide
44
Connaissances « élevées » (67%-80%) – Comportement n°10
Réponse en étant…
▪ 10ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Vraie
Peu sûr (<67%)
Note
X
1
X
1
Incertitude
Vraie
Vraie
X
2
Vraie
X
2
Vraie
X
2
Fausse
X
-2
Fausse
X
-2
Précision
Total
5/7 = 0,71 (71%)
–
–
4
Note moyenne / question
▪
Précision de 71% → Connaissances élevées → il devait globalement être « sûr » (67%-80%)
▪
Il a répondu partout « sûr » sauf 2 « pas sûr » au mauvais moment, là où il savait
▪
Etat de connaissance : incertitude
0,57
45
Connaissances « élevées » (67%-80%) – Comportement n°10
Note moyenne / question en prenant en compte le DC choisi
3
0,57
2
1
0
100
50
-2
-6
% de réponses
correctes
(précision)
71% de
précision
Le point est en dessous de la droite attendue. Dans cette situation, l’étudiant n’a pas
réussi à savoir là où il savait ; l’étudiant était dans l’incertitude
46
Connaissances « élevées » (67%-80%) – Comportement n°11
Réponse en étant…
▪ 11ème comportement
Réponse
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Note
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Vraie
X
2
Fausse
X
Fausse
X
Précision
Total
-6
Illusion
-6
5/7 = 0,71 (71%)
–
–
-2
Note moyenne / question
-0,29
▪
Précision de 71% → Connaissances élevées → il devait globalement être « sûr » (67%-80%)
▪
Il a répondu partout « sûr » sauf 2 « très sûr » au mauvais moment, là où il ne savait pas
▪
Etat de connaissance : illusion
47
Connaissances « élevées » (67%-80%) – Comportement n°11
Note moyenne / question en prenant en compte le DC choisi
3
0,57
2
1
0
-2
-6
-0,29
100
50
% de réponses
correctes
(précision)
71% de
précision
Le point est en dessous de la droite attendue. Dans cette situation, l’étudiant a cru
savoir alors qu’il ne savait pas ; l’étudiant était dans l’illusion
48
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
49
Note moyenne / question en prenant en compte le DC choisi
Zones de qualités et défauts d’apprentissage
Qualité(s) qui augmente(nt) la note
prenant en compte le DC
Lucidité
Lucidité / Connaissances
conscientisées
3
Connaissances
conscientisées
2
1
0
-1
Incertitude
-2
Illusion /
Incertitude
-3
-4
Illusion
Défaut(s) qui diminue(nt) la note
prenant en compte le DC
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
50
Note moyenne / question en prenant en compte le DC choisi
Une remarque, au passage…
3
2
1
0
Aujourd’hui, l’étudiant vétérinaire
a son diplôme s’il dépasse 50%
(10/20) en connaissances
-1
-2
Ainsi, un étudiant qui a été très sûr
en répondant souvent (mais < 50%)
faux valide quand même… !
-3
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
51
Note moyenne / question en prenant en compte le DC choisi
Zone de l’illusion
Illusion
Les connaissances de l’étudiant sont limitées, et il a trop souvent cru que sa
réponse était correcte, alors qu’elle ne l’était pas. Il faut encore travailler, tout
en revoyant a priori ses méthodes d’apprentissage.
3
2
1
0
-1
-2
-3
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
52
Note moyenne / question en prenant en compte le DC choisi
Zone d’illusion / de l’incertitude
3
2
1
0
-1
-2
Illusion et/ou incertitude
-3
Les connaissances de l’étudiant sont bonnes, mais il a trop souvent cru que sa réponse était
correcte alors qu’elle ne l’était pas ou bien il n’a pas été suffisamment sûr de lui au moment
où sa réponse était correcte.
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
53
Note moyenne / question en prenant en compte le DC choisi
Zone de l’incertitude
3
2
1
0
-1
-2
Incertitude
-3
Les connaissances de l’étudiant sont très bonnes, mais il n’a pas été suffisamment sûr de lui
au moment où sa réponse était correcte. L’étudiant a trop peu confiance en lui, alors qu’il en
sait beaucoup. L’étudiant doit alors se rassurer, et prendre confiance en lui.
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
54
Note moyenne / question en prenant en compte le DC choisi
Zone d’un état de connaissances conscientisées
3
2
1
0
-1
Connaissances conscientisées
-2
Les connaissances de l’étudiant sont limitées (il faut encore travailler !), mais il
a été capable de savoir où sa réponse était correcte. Les méthodes
d’apprentissage de l’étudiant sont a priori bonnes.
-3
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
55
Note moyenne / question en prenant en compte le DC choisi
Zone d’un état de connaissances conscientisées / lucidité
3
2
1
0
-1
Connaissances conscientisées et/ou lucidité
-2
Les connaissances de l’étudiant sont bonnes, et il a été capable de savoir où sa réponse était
correcte (connaissances conscientisées) et/ou de savoir où il pouvait avoir tort (lucidité).
L’étudiant est proche d’être prêt pour l’examen.
-3
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
56
Note moyenne / question en prenant en compte le DC choisi
Zone de lucidité
3
2
1
0
Lucidité
-1
Les connaissances de l’étudiant sont très bonnes, et de plus, il a été capable de savoir où il
pouvait avoir tort (lucidité). L’étudiant est prêt pour l’examen. L’étudiant est aussi prêt à
aider les autres.
-2
-3
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
57
Bilan – Quand les connaissances sont limitées (< 67%)
▪ Il est attendu que l’étudiant soit dans un état d’incertitude et de lucidité
▪ L’étudiant perd des points quand il est dans l’illusion (lucidité → illusion)
▪ L’incertitude, à ce stade de connaissances, ne lui fait pas perdre de points
▪ L’étudiant gagne des points quand il est dans un état de connaissances
conscientisées (incertitude → connaissances conscientisées)
▪ La lucidité, à ce stade de connaissances, ne lui fait pas gagner de points
▪ L’étudiant perd beaucoup plus de points à être dans l’illusion qu’il n’en gagne à
être dans un état de connaissances conscientisées
58
Bilan – Quand les connaissances sont très élevées (> 80%)
▪ Il est attendu que l’étudiant soit dans un état de connaissances conscientisées et
(un peu*) d’illusion
▪ L’étudiant perd des points quand il est dans l’incertitude (connaissances
conscientisées → incertitude)
▪ L’illusion, à ce stade de connaissances, ne lui fait pas perdre de points
▪ L’étudiant gagne des points quand il est dans un état de lucidité (illusion → lucidité)
▪ L’état de connaissances conscientisées, à ce stade de connaissances, ne lui fait pas
gagner de points
▪ L’étudiant gagne beaucoup plus de points à être dans la lucidité qu’il n’en perd à
être dans l’état d’incertitude
* « un peu » car il a moins de 20% de réponses fausses pour lesquelles il est « très sûr »
59
Bilan – Quand les connaissances sont élevées (67%-80%)
▪ Il est attendu que l’étudiant soit dans un état de connaissances intermédiaire
▪ L’étudiant perd des points quand il est dans l’incertitude ou dans l’illusion
▪ L’étudiant gagne des points quand il est dans un état de lucidité ou dans un état de
connaissances conscientisées
▪ L’étudiant gagne plus de points à être dans la lucidité qu’à être dans un état de
connaissances conscientisées
▪ L’étudiant perd plus de points à être dans l’illusion qu’à être dans l’incertitude
60
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
61
1ère étape : répondre aux questions en 2 temps
(1) Choix de la
réponse
(2) Choix du niveau de confiance, ou
degré de certitude (C=1, C=2, C=3)
Remarque : l’étudiant peut tout à fait quitter le test en se déconnectant d’EVE,
puis se reconnecter plus tard, et reprendre le test là où il en était resté
62
2ème étape : terminer le test
▪ Une fois toutes les questions répondues, le dernier clic sur « suivant » conduit à
visionner le résumé de la tentative (ci-dessous)
L’étudiant n’a pas répondu à une question, il
peut y revenir maintenant
L’étudiant a marqué d’un drapeau une question
sur laquelle il voudra éventuellement revenir
Retour à la tentative = permet de revenir
aux réponses aux questions
Tout envoyer et terminer =
terminer le test
63
Indicateurs numériques fournis par Moodle
4/10 réponses correctes ⇒ précision = 40%
Note à ne pas regarder (non
interprétable)
Note moyenne / Q observée
Précision observée = % de bonnes réponses
64
De Moodle à Excel
▪ Diagnostic d’apprentissage avec son positionnement sur le graphique (feuille Excel
disponible sur EVE intitulée « Graphique pour diagnostic apprentissage »)
2 cellules (en jaune)
à remplir par
l’étudiant à partir
des résultats fournis
par Moodle (cf.
diapo précédente)
Position du point (en
violet) automatique
sur le graphique
65
Un diagnostic plus fin
▪ Regarder si la précision par intervalle de niveau de confiance est bien cohérente
avec ce niveau de confiance
L’étudiant était trop sûr de lui quand il a
répondu avec le DC « très sûr » (⇔ illusion)
2 réponses avec un DC « très sûr » (C=3)
Parmi ces 2 réponses, 0% était correcte
Avec un tel DC, la précision aurait dû être > 80% !
L’intensité de l’illusion est proportionnelle à l’écart
entre la précision et la borne inf de l’intervalle
66
Un diagnostic plus fin
▪ Regarder si la précision par intervalle de niveau de confiance est bien cohérente
avec ce niveau de confiance
L’étudiant était trop sûr de lui quand il a
répondu avec le DC « sûr » (⇔ illusion)
4 réponses avec un DC « sûr » (C=2)
Parmi ces 4 réponses, 25% étaient correctes
Avec un tel DC, la précision aurait dû être 67%-80%
L’intensité de l’illusion est proportionnelle à l’écart
entre la précision et la borne inf de l’intervalle
67
Un diagnostic plus fin
▪ Regarder si la précision par intervalle de niveau de confiance est bien cohérente
avec ce niveau de confiance
L’étudiant n’était pas assez sûr de lui quand il a
répondu avec le DC « peu sûr » (⇔ incertitude)
4 réponses avec un DC « peu sûr » (C=1)
Parmi ces 4 réponses, 75% étaient correctes
Avec un tel DC, la précision aurait dû être < 67%
L’intensité de l’incertitude est proportionnelle à l’écart
entre la précision et la borne sup de l’intervalle
68
Un diagnostic encore plus fin
▪ Regarder le « diagnostic » (la note prenant en compte le DC) question par question
Forte illusion
Réponse
Illusion
Lucidité
Très sûr (>80%)
Sûr (67%-80%)
Peu sûr (<67%)
Incorrecte
-6
-2
0
Correcte
3
2
1
Très bonne conscientisation de la connaissance
Incertitude
Bonne conscientisation de la connaissance
69
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
70
Notion de bonus/malus
▪ Gardner a introduit la notion de bonus/malus
▪ Objectif certificatif*
- Moduler la note des connaissances strictes selon les capacités de l’étudiant à
s’auto-évaluer sur ses connaissances
- La note bonusée/malusée devient la note qui permet de valider l’évaluation !
▪ Calcul
Note bonusée/malusée = % réponses correctes (précision) + bonus/malus
▪ Règle de calcul : bonus/malus proportionnel à l’écart entre …
la note moyenne / question observée (le point sur le graphique)
et
la note moyenne / question attendue (l’endroit sur la droite attendue)
* La note compte pour la validation de l’UC/UE
71
Illustration
Note moyenne / question en prenant en compte le DC choisi
1,75
3
2
1
0,88 = note moyenne / Q
attendue avec 72% de précision
V
0
100
50
-2
-6
% de réponses
correctes
(précision)
72% de
précision
▪ Supposons un QCM avec DC donnant 72% de précision et une note moyenne / Q de 1,75
▪ Soit V = (note moyenne / question observée) – (note moyenne / question attendue)
▪ Dans Moodle, bonus/malus (en %) = V x 10* = (1,75 – 0,88) x 10 = 8,7%
▪ Note bonusée/malusée = précision (en %) + bonus/malus (en %) = 72% + 8,7% = 80,7%
* Cette formule est un peu une formule « magique », dont je n’ai pas trouvé les fondements scientifiques… ☺
72
Note moyenne / question en prenant en compte le DC choisi
Note bonusée/malusée de 50% = nouveau seuil de validation
Zone dans laquelle les connaissances de l’étudiant sont < 50%
mais ses qualités de connaissances conscientisées ont conduit à
une note bonusée > 50% ⇒ l’étudiant valide l’évaluation
3
2
1
0
Limite correspondant à une note
bonusée/malusée de 50% (10/20)
-1
-2
Ancien seuil de validation
-3
Zone dans laquelle les connaissances de l’étudiant sont
> 50% mais ses défauts d’illusion ont conduit à une note
malusée < 50% ⇒ l’étudiant ne valide pas l’évaluation
-4
-5
-6
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
73
Note classique (connaissances) versus note bonusée/malusée
L’étudiant valide bien que ses connaissances
soient < 50% car ses qualités de connaissances
conscientisées ont remonté sa note !
100%
Note bonusée / malusée de l’évaluation
80%
L’étudiant valide avec des
connaissances > 50%
Nouveau seuil de
validation
60%
40%
20%
L’étudiant ne valide pas malgré des
connaissances > 50%, à cause de
l’illusion dans laquelle il était
0%
-20%
L’étudiant ne valide pas (avec des connaissances < 50%)
-40%
Comme il n’est pas question de mettre une note négative,
l’étudiant a 0% (bien que ses connaissances soit > 0%) :
l’illusion dans laquelle il était a été très délétère !
-60%
-80%
-100%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
74
Injuste !! – Vous avez dit « injuste » ??
100%
Note bonusée / malusée de l’évaluation
80%
Nouveau seuil de
validation
60%
40%
20%
0%
-20%
Cette situation pourrait paraître injuste : 69% de bonnes réponses, mais pourtant, l’élève ne
valide pas !
-40%
Sauf que cette situation, extrême, arrive dans la situation suivante :
-60%
100 questions avec 69 bonnes réponses répondues « peu sûr » et 31 mauvaises réponses
répondues « très sûr » ⇒ c’est effectivement un comportement difficilement … « validant » !
-80%
Alors, est-ce toujours … injuste ?! ☺
-100%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
% de réponses correctes (précision) ⇔ connaissances
75
En pratique avec Moodle
▪ Indicateurs numériques fournis par Moodle pour l’évaluation certificative
Bonus/malus
Note bonusée/malusée (allant systématiquement de -60% à 100%)
Remarque : en auto-apprentissage, l’étudiant peut se servir de la valeur de
cette note pour mesurer sa progression tant dans ses connaissances que
dans ses capacités à évaluer l’état de ses connaissances
76
Plan
1) Définitions et présentation du concept de la méta-cognition en pédagogie
2) Indicateurs numériques des états de connaissance
3) Scenarii des comportements de l’étudiant et interprétation des indicateurs
numériques
4) Diagnostic de ses méthodes d’apprentissage
5) En pratique avec Moodle et Excel
6) Le QCM à degré de certitude en évaluation certificative
7) Conclusion
77
Principales limites de la méthode
Selon D Leclercq, le système de note moyenne / Q en prenant en compte le DC…
▪ … est conçu intuitivement (bien que conforme aux théories des décisions) et non
sur une base de qualités définies de la cognition de l’étudiant
▪ … ne permet pas les interprétations issues des graphiques précédents car la note
moyenne / Q est un « cocktail » de mesures et non pas une mesure en soi
78
Démarche pour pallier ces limites de Gardner-Madwin
▪ La position de la note observée par rapport à celle attendue sur le graphique donne
une 1ère idée des qualités et/ou défauts d’apprentissage de l’étudiant
▪ Mais la relecture des réponses aux questions est indispensable pour affiner /
corriger le diagnostic (par intervalle de niveau de confiance, ou question par
question)
▪ Nouvelle approche par D Leclercq prochainement être mise en œuvre dans Moodle
79
QCM à DC en formatif et certificatif : points-clé
▪ En auto-apprentissage
- Révèle éventuellement à l’étudiant des méthodes d’apprentissage non optimales
- Met en confiance l’étudiant car il se sait prêt pour l’examen grâce à des connaissances
qu’il sait solides
- La note bonusée/malusée peut servir de repère de progression (cf. remarque diapo 76)
- Indispensable à mettre en place s’il y a un QCM à DC en certificatif !
80
QCM à DC en formatif et certificatif : points-clé
▪ En certificatif, utilisation de la note bonusée/malusée
- Les étudiants ne sont pas habitués et peuvent ressentir une injustice
- Les étudiants doivent avoir été entrainés auparavant
- Il faudrait normalement inclure dans les objectifs d’apprentissage : « l’étudiant doit
être en mesure d’évaluer l’état de ses connaissances »
- Pertinent pour valider un exercice d’enseignement clinique, mais qu’en est-il pour un
enseignement en sciences fondamentales ?...
81
Biblio
▪ Formative and Summative Confidence-Based Assessment, A.R. Gardner-Madwin, Proc.
7th International Computer-Aided Assessment Conference, Loughborough, UK, July
2003, pp. 147-155
▪ D Leclercq, professeur émérite à la Faculté de Psychologie et Education à l'Université
de Liège, communications personnelles
▪ Aide en ligne de Moodle
https://docs.moodle.org/26/en/Using_certainty-based_marking
82