1. Les tests passés lors de la Journée Défense et Citoyenneté (JDC)

Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
LES JEUNES FACE A L’ECRIT – UN NOUVEAU DISPOSITIF D’EVALUATION
MASSIVE DE LEURS PERFORMANCES EN LECTURE
Thierry Rocher*
* DEPP, [email protected]
Mots-clés : illettrisme, test automatisé, standardisation
Résumé. Depuis 2000, tous les jeunes Français et Françaises, lorsqu’ils ont environ 17 ans, sont
convoqués à une Journée Défense et Citoyenneté (ex-JAPD) au cours de laquelle ils passent des
tests de lecture. Chaque année, près de 800 000 jeunes sont concernés et passent ces tests dans
250 centres répartis partout en France métropolitaine et dans les départements d’outre-mer. Ce
dispositif de masse nécessite d’envisager une méthodologie de l’évaluation qui permette de
neutraliser l’influence potentielle des conditions d’observation sur le résultat de la mesure.
Ce dispositif d’évaluation des performances en lecture est présenté, à la fois dans ses fondements
théoriques et dans ses modalités pratiques. Les propriétés de ce nouveau test, ainsi que son
fonctionnement par rapport à l’ancienne version papier-crayon sont présentées.
1.
Les tests passés lors de la Journée Défense et Citoyenneté (JDC)
Depuis 2000, tous les jeunes Français et Françaises, lorsqu’ils ont environ 17 ans, sont convoqués
à une Journée Défense et Citoyenneté (ex-JAPD) au cours de laquelle ils passent des tests de
lecture. Cette évaluation est l’occasion de dresser un panorama précis des performances en lecture
d’une génération entière. Elle a également pour objectif de repérer les jeunes en difficulté de
lecture afin d’envisager des pistes de remédiation. Pour certains jeunes, la fin de la scolarité
approchant, le basculement prochain dans la vie active va engendrer un nouveau rapport à l’écrit.
L’école comme lieu de sollicitation d’actes de lecture et d’écriture va disparaître au profit du
monde du travail. Pour ces jeunes, le rapport à l’écrit sera définitivement distendu.
1.1
Une évaluation massive
Chaque année, près de 800 000 jeunes sont concernés et passent ces tests, au cours de 20 000
sessions d’évaluation, organisées dans 250 centres répartis partout en France métropolitaine et
dans les départements d’outre-mer. Dans ce dispositif déconcentré, les épreuves sont administrées
par un personnel non spécialisé (ni psychologue, ni enseignant), mais formé, qui encadre la
journée par rotation. La passation des tests dure 25mn et s’adresse à un groupe d’une quarantaine
de jeunes. Les conditions de passation sont donc bien particulières et potentiellement soumises à
d’importantes variations dans un dispositif classique papier-crayon.
Une autre contrainte importante est à prendre en compte : le test s’adresse à tous les jeunes
d’environ 17 ans, quels que soient leurs parcours scolaires, leurs rapports à la lecture, etc. Cette
forte hétérogénéité nécessite de tenir compte des différences de perception du test par les jeunes.
Ainsi, les expériences précédentes ont montré l’impérieuse nécessité de ne pas adresser des tests
pour lecteurs débutants à des bons lecteurs. Dans de tels cas, même si des précautions de
présentation étaient prises, l’évaluation risquait d’être rejetée. Ce qui signifie que les épreuves
proposées doivent représenter un certain niveau de difficulté acceptable pour tous.
1
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
Ces contraintes expliquent la mise en place au départ d’un processus adaptatif, qui a concerné les
six premières années de fonctionnement de la JAPD (1998-2003). Pendant cette période, en
fonction des résultats d’un test dit d’orientation passé le matin, les jeunes passait l’après-midi un
autre test soit relativement simple (formule A) soit plus difficile (formule B). Mais la lourdeur de
cette double évaluation, impliquant une correction rapide in situ du test d’orientation, a conduit le
ministère de la défense à réduire le nombre de sites fonctionnant sur ce modèle. En 2004, une
refonte importante de l’évaluation a été opérée afin de proposer à tous les jeunes un unique test.
Les fondements théoriques et l’architecture du test n’ont pas changé depuis (cf. paragraphe 1.3).
Cette nouvelle évaluation restait cependant soumise à une variabilité potentiellement importante
des conditions de passation et de correction, malgré la précision des consignes données. Ce
dispositif de masse nécessite en effet d’envisager une méthodologie de l’évaluation qui permette
de neutraliser l’influence potentielle des conditions d’observation sur le résultat de la mesure.
Ainsi, en 2009, les tests de lecture ont été adaptés à un nouveau mode de passation collective, afin
d’améliorer la standardisation des procédures et de réduire sensiblement les contraintes
logistiques.
En résumé l’évaluation de la lecture lors de la JDC, ex-JAPD, a connu trois générations de tests :
1998-2003 : tests « adaptatifs » en deux temps (test d’orientation + test spécifique)
2004-2008 : test unique, passation et correction
2009-aujourd’hui : test automatisé (MOPATE : modernisation du passage des tests)
Nous présentons ici les modalités de ce nouveau dispositif, ses avantages en comparaison avec le
système précédent de type papier-crayon ainsi que des éléments de résultats récents.
1.2
Le nouveau dispositif automatisé
Les jeunes doivent répondre, grâce à un boîtier électronique, aux questions qui défilent sur un
grand écran. Leurs réponses, et dans certains cas leurs temps de réaction, sont enregistrés. A la fin
de la session d’évaluation, les différents scores sont calculés de manière automatique et les profils
de lecteurs sont édités, afin de faciliter l’organisation des entretiens avec les jeunes repérés en
difficulté.
Ce nouveau mode de passation présente quatre innovations importantes :
La standardisation des conditions de passation : le déroulement du test est entièrement
automatisé, ce qui permet de réduire de manière drastique la variabilité liée à la passation,
variabilité qu’on a pu observer auparavant concernant, par exemple, le strict respect du temps
imparti, dans le cadre de l’épreuve chronométrée.
L’automatisation de la saisie, de la correction et du calcul des scores : la fiabilité des données
recueillies est garantie ; les erreurs de corrections constatées avec les précédents tests ne sont
plus possibles.
L’intégration du multimédia : le son permet de bien dissocier les connaissances lexicales du
langage oral d’un côté, la question du savoir lire de l’autre.
Le recueil des temps de réponse à la milliseconde près : cette fonctionnalité est essentielle
pour mesurer de manière précise l’automaticité de la lecture.
1.3
Contenu et architecture du test
En 2004, la contrainte d’élaboration d’un test unique s’adressant à tous les jeunes a guidé les
principes de conception qui se retrouvent aujourd’hui dans la version automatisée (Rivière et al.,
2010).
Le test vise à repérer chez les faibles lecteurs, trois ensembles majeurs de difficultés :
2
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
-
-
Une mauvaise automatisation des mécanismes responsables de l’identification des mots :
plutôt que de pouvoir consacrer leur attention à la construction du sens du texte, des lecteurs
laborieux doivent la consacrer à la reconnaissance de mots, ce qui devrait se faire de façon
rapide et non consciente ;
Une compétence langagière insuffisante, mise en évidence par la pauvreté des connaissances
lexicales orales ;
Une pratique défaillante des traitements complexes requis par la compréhension d’un
document : nombre de jeunes seront peu efficaces dans le traitement de l’écrit, soit par défaut
d’expertise, soit par difficultés de maintien de l’attention…, bien que ni leur capacité à
identifier des mots, ni leur compétence langagière ne soient en cause.
Pour évaluer l’automaticité de la lecture, un module du test demande aux jeunes de juger le plus
rapidement possible de l’homophonie entre un mot et un pseudo-mot (item prononçable mais sans
signification). Pour cela, le lecteur doit reconnaître le mot (éventuellement « globalement »),
décoder le pseudo-mot et juger de la similarité de la prononciation des deux. Les vingt paires «
mot / pseudo-mot » sont chacune affichées chacune cinq secondes à l’écran et les jeunes doivent
répondre le plus vite possible. C’est le temps de réponse qui constitue l’indicateur privilégié, plus
que la performance très élevée (99 % des jeunes réussissent plus de la moitié des 20 items
proposés). La mesure retenue est le temps moyen observé aux items réussis.
Les connaissances lexicales sont évaluées à travers un test de décision lexicale. Il ne s’agit pas de
définir des mots, mais plus simplement de dire si des items écrits sont ou ne sont pas de véritables
mots. Une liste qui mélange des mots et des « pseudo-mots », créés pour les besoins de
l’évaluation, est proposée. Les mots apparaissent à l’écran et sont lus à l’oral, ce qui permet
d’éviter de confondre la connaissance de la langue orale avec la lecture de mots. L’indicateur
retenu est le nombre de vrais mots reconnus.
Les traitements complexes, qui permettent l’accès à l’information et à la compréhension d’un
document écrit, sont évalués à l’aide de deux supports différents. Un programme de cinéma est
proposé afin d’évaluer spécifiquement les performances en matière de recherche d’informations.
Des lecteurs en difficulté peuvent répondre à ces questions, toutefois, leur efficacité de traitement
sera moindre car ils devront compenser leur mauvaise appréhension du support par un temps de
recherche plus long. La compréhension de texte nécessitant une implication du lecteur, une
concentration de son attention, un traitement exhaustif des mots et de la ponctuation qui ne
relèvent pas des habitudes que peuvent donner des lectures sélectives ou de la simple recherche
d’information. C’est pourquoi un texte narratif relativement court est également proposé : la
compréhension littérale est limitée à l’information apportée par le texte, une compréhension fine
exige la mobilisation de connaissances préalables pour en dégager l’implicite. Le texte narratif a
l’avantage de proposer une série d’événements autour desquels s’articulent des décors, des
dialogues… C’est l’enchaînement des événements qui reste déterminant dans la compréhension
globale de l’histoire. Le score retenu est le nombre total de bonnes réponses observées.
2.
Les gains de qualité
2.1
Passation et correction
La fiabilisation du dispositif repose sur la standardisation maximale des procédures de passation et
de correction des tests. Les consignes sont strictement les mêmes dans tous les centres de
passation. La manière de présenter les tests aux jeunes est uniforme. Plus important, dans
l’ancienne version, le temps imparti pour l’épreuve de vitesse (automaticité de la lecture) n’était
pas rigoureusement respecté d’une session à l’autre. Le tableau ci-dessous montre le pourcentage
de variance du score expliquée par le site de passation, pour chaque épreuve, pour les années 2008
et 2009. En 2008, pour l’épreuve de vitesse, ce pourcentage est de 12,8 % contre 1 % en 2009. Ce
résultat indique clairement une grande variabilité des scores dans l’ancienne version où l’épreuve
était chronométrée par le responsable de la passation. En 2009, le recueil direct et automatique des
3
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
temps de réponse permet de réduire très nettement cet effet lié à la variabilité des conditions
d’administration du test. Ce phénomène est moins marqué pour les deux autres épreuves pour
lesquelles la variabilité était déjà faible antérieurement.
% de variance expliquée
2008
2009
Automaticité de la lecture
Connaissances lexicales
Traitements complexes
12.8
1.7
2.3
1.0
1.6
1.9
695 219
259
714 154
259
N
Sites communs
Tableau 1 : Pourcentages de variance expliquée par les sites JDC
La correction des épreuves constituait également une source de biais dans l’ancienne version des
tests. Rappelons que les réponses des jeunes étaient corrigées in situ et les scores obtenus à chaque
épreuve étaient saisis dans un système dédié. Des observations faites sur des échantillons pour
lesquels les réponses des jeunes étaient également saisies numériquement ont fait apparaître des
taux de cohérence d’environ 80 % pour les épreuves de traitements complexes, entre le score
corrigé manuellement puis saisi et le score issu de la numérisation des réponses. Ce biais est
aujourd’hui totalement évacué avec la version automatisée des tests puisque la réponse du jeune
est directement enregistrée dans la base de données.
2.2
Variabilité de la mesure
En termes de mesure, des corrélations plus importantes sont observées entre les trois épreuves, ce
qui traduit une réduction de l’erreur de mesure, surtout concernant l’épreuve d’automaticité,
anciennement chronométrée de manière variable. Le tableau ci-dessous donne les corrélations
entre les épreuves, pour 2008 et pour 2009.
2008
Automaticité de la lecture
Connaissances lexicales
Connaissances lexicales
Traitements complexes
0.14
0.24
0.40
2009
Automaticité de la lecture
Connaissances lexicales
Connaissances lexicales
Traitements complexes
0.34
0.44
0.53
Tableau 2 : Corrélations entre les trois dimensions évaluées
2.3
Implication des jeunes
Le mode de passation implique que tous les jeunes sont inscrits dans la même temporalité pour
répondre aux questions du test, contrairement à un test papier-crayon qui donne la liberté de
parcourir les questions, d’en passer certaines, revenir sur d’autres, dans des temps variables, etc.
Un certain soin a été apporté lors des différentes phases d’expérimentation du test, au calibrage des
temps d’affichage des questions. L’objectif est de laisser suffisamment de temps au plus grand
nombre tout en imposant un rythme exerçant une certaine forme de pression temporelle, afin
d’éviter les effets possibles de lassitude chez les élèves les plus performants. Ce rythme, associé à
4
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
l’interactivité du procédé, permet de favoriser l’implication des jeunes dans la réussite au test par
comparaison avec la version papier-crayon.
En guise d’illustration, le sujet des réponses données au hasard est abordé dans la figure 1 où sont
représentés les taux de réussite des items portant sur la compréhension de documents écrits. Les
items sont classés par ordre de réussite croissant, calculée sur l’ensemble de la population. Ces
items sont des questions à choix multiples comportant quatre propositions. Les taux de réussite
sont distingués selon les huit profils de lecteurs (cf. tableau 1). Il ressort que les courbes de
réussite des profils les moins performants suivent globalement celles des autres profils1, indiquant
qu’un comportement important de réponses au hasard est à exclure.
Figure 1 : Légende (centré)
3.
Eléments de résultats
Quelques éléments de résultats concernant l’année civile 2010 sont présentés dans cette partie, et
des rapprochements avec les résultats obtenus dans la version papier-crayon permettent
d’identifier certains écarts qui renvoient en partie à la standardisation optimale des nouvelles
modalités d’évaluation.
3.1
Résultats généraux
Pour chacune de ces trois dimensions, un seuil de maîtrise a été fixé : en deçà d’un certain niveau,
on peut considérer que les jeunes éprouvent des difficultés sur la compétence visée (-), au-delà, la
compétence est jugée maîtrisée (+). A partir de la combinaison des résultats, huit profils de
lecteurs sont déterminés.
Les résultats sont proches de ceux obtenus avec la version précédente (cf. tableau 3). En résumé,
en 2010, près de huit participants à la JDC sur dix sont des « lecteurs efficaces ». A l’opposé, un
jeune sur dix rencontre des difficultés de compréhension. Les autres ont une maîtrise fragile de la
lecture. Pour une discussion plus précise sur ces résultats, le lecteur est invité à consulté la série
annuelle des notes d’information de la DEPP sur ce sujet (cf. la dernière : de La Haye, et al. 2011).
1 Les écarts entre les courbes renvoient en réalité au pouvoir discriminant de chaque item.
5
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
Traitements
complexes
Automaticité
de la lecture
Connaissances
lexicales
Garçons
( %)
Filles
( %)
Ensemble
( %)
5d
+
+
+
67,6
73,5
70,4
5c
+
-
+
10,3
8,0
9,2
5b
+
+
-
6,7
7,7
7,2
5a
+
-
-
2,8
2,1
2,4
4
-
+
+
3,6
2,9
3,2
3
-
-
+
3,2
1,6
2,4
2
-
+
-
2,2
2,0
2,1
1
-
-
-
3,7
2,2
3,0
Profil
Lecteurs
efficaces
79,6 %
Lecteurs peu
efficaces
9,6 %
Très faibles
capacités de
lecture
5,7 %
Difficultés
sévères
5,1 %
Tableau 3 : Les profils de lecteurs (JDC, 2010)
3.2
Réduction des disparités géographiques
Le nouveau dispositif permet d’avoir des estimations plus précises du pourcentage de jeunes en
difficulté selon le département ou la région de domicile. En comparaison avec les années
précédentes, ce pourcentage varie moins d’une région à l’autre, ce qui reflète la réduction des
erreurs de mesure opérée grâce à la passation et à la correction automatiques des tests.
Figure 1 : Pourcentage de jeunes en difficulté de lecture selon le département (2010)
6
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
3.3
Différences selon le sexe et le niveau scolaire
Le pourcentage de jeunes en grande difficulté est très différent selon le sexe : 12,6 % des garçons
contre 8,7 % des filles (tableau 3) et cette différence est plus marquée chez les jeunes ayant un
niveau d’études moins élevé. En comparaison aux tests papier-crayon des années précédentes, il
apparaît que l’écart entre les garçons et les filles se réduit avec le nouveau dispositif d’évaluation.
Ce résultat renvoie certainement à une implication plus forte des garçons dans les tâches
demandées, induite par la nouvelle forme d’interrogation.
En comparaison avec la version papier-crayon, il ressort que la corrélation entre le niveau scolaire
et les performances des jeunes est plus importante. Ce renforcement des différences selon le
niveau scolaire traduit sans doute le fait que les erreurs de mesure ont été réduites mais également
une meilleure implication des jeunes des niveaux scolaires les plus élevés.
Les garçons réussissent moins bien les épreuves de compréhension, c’est pourquoi ils sont plus
nombreux dans chacun des profils 1, 2, 3 et 4. De plus, ils témoignent plus souvent d’un déficit des
mécanismes de base de traitement du langage écrit, ce qui explique leur présence relativement plus
importante dans les profils 1 et 3 (tableau 3). Concernant le lexique, leurs performances sont
comparables.
Il est également à noter que les différences garçons/filles s’observent en particulier pour les types
scolaires les moins élevés. A l’inverse, parmi les élèves en lycée général, les performances sont
même légèrement à l’avantage des garçons pour la rapidité de traitement et le lexique. Les données
du tableau 4 permettent d’illustrer ce phénomène.
Type 1 (Collège)
Type 2 (Professionnel )
Type 3 (Technologique)
Type 4 (secondaire général et
enseignement supérieur)
Ensemble
Traitements
complexes
Connaissances
lexicales
(score sur 20)
(score sur 20)
Automaticité de la
lecture
(temps moyen en
secondes)
Garçons
9,8
11,8
13,9
Filles
10,7
12,1
13,8
Garçons
13,3
14,6
16,1
Filles
13,5
14,3
15,7
Garçons
2,04
1,73
1,48
Filles
1,88
1,66
1,52
15,4
13,4
15,4
14,0
17,2
15,8
16,9
15,9
1,34
1,56
1,40
1,51
Tableau 4 : Performances selon le sexe et le niveau de scolarité (JDC 2010))
4.
Conclusion et perspectives
Les nouvelles modalités de passation permettent de mesurer de manière fiable les performances
des jeunes face à l’écrit dans le cadre d’une évaluation massive qui concerne l’ensemble des
jeunes d’une génération chaque année. Des analyses sont prévues en particulier pour ce qui
concerne certains profils spécifiques (hyper-lecteurs) ou la relation entre la performance et
certaines variables contextuelles.
De manière plus générale, ce dispositif offre l’opportunité d’interroger relativement facilement et
avec fiabilité un grand nombre de jeunes sur des thèmes variés. Dans cette optique, un système de
modularité est en cours de construction : celui-devrait permettre d’accueillir des modules
7
Feuille de styles pour le texte final destiné aux Actes du 24e colloque de l’Adméé-Europe
L’évaluation des compétences en milieu scolaire et en milieu professionnel
d’interrogation spécifiques, sur d’autres dimensions, au plan cognitif mais également au plan
social, sanitaire, économique... A travers l’automatisation des tests ou des questionnaires, la JDC
est ainsi renforcée en tant que lieu d’observation de la jeunesse.
Actuellement, une expérimentation est en cours pour évaluer selon le même principe les
performances des jeunes en numératie. Elle devrait donner lieu à un recueil de données auprès de
plusieurs dizaines de milliers de jeunes à la fin de l’année 2012.
5.
Références
de La Haye, F., Gombert, J.-E., Rivière, J.-P. & Rocher, T. (2011). Les évaluations en lecture dans le cadre de
la Journée Défense et Citoyenneté. Année 2010. Note d’information, n° 10.28, Paris : MEN-DEPP.
Rivière, J.-P., de La Haye, F., Gombert, J.-E., & Rocher, T. (2010). Les jeunes Français face à la lecture :
nouvelles pistes méthodologiques pour l’évaluation massive des performances cognitives, Revue
Française de Linguistique Appliquée, vol XV-1, 121-144.
8