Questionmark Hosting Service

Transcription

Questionmark Livre Blanc
Les évaluations à travers le processus
d’apprentissage.
Ce document examine de quelle manière les évaluations peuvent aider les
formateurs et les organisations à améliorer le processus d’apprentissage.
Il entend permettre à ses lecteurs d’identifier les différents types et styles
d’évaluations, d’appréhender divers outils en la matière et d’apprendre
comment élaborer des épreuves efficaces, analyser leurs résultats et
apprécier les avantages des épreuves informatisées.
Auteurs : Eric Shepherd
Janet Godwin
Avec la collaboration de : Dr. Will Thalheimer, Work-Learning Research
Dr. William Coscarelli, Southern Illinois University
Dr. Sharon Shrock, Southern Illinois University
www.questionmark.com
La façon dont les formations et les cours en classe sont donnés a radicalement changé au
cours des cinq dernières années. Si l’accent a été particulièrement mis sur la méthode
d’enseignement, nul va sans dire que les pratiques de recherche et de récupération des
informations ainsi que d’autres facteurs essentiels déterminent le mode d’apprentissage des
étudiants, leurs acquis et leur degré d’investissement dans leurs tâches spécifiques.
Certaines organisations ont par exemple tenté de ne plus recourir qu’aux méthodes
d’apprentissage en ligne alors que cette approche ne leur convient pas toujours. Une frange
significative de la population, en particulier les personnes considérées comme appartenant à
la génération X ou Y, aime utiliser un ordinateur pour apprendre et y consacre même son
temps libre. D’autres apprennent mieux dans le cadre de sessions de formation plus
traditionnelles réunissant les participants, les répartissant en groupes et leur offrant la
possibilité de se parler. Bon nombre d’entre nous préfèrent une salle de cours et toutes les
interactions humaines qu’elle implique.
Par conséquent, il est essentiel de déterminer comment les gens apprennent, ce qu’ils
apprennent réellement et si ces connaissances s’avèrent utiles dans le cadre de leur travail.
C’est la raison pour laquelle le développement de supports éducatifs, de formation et de
certification bien conçus passe par une utilization efficace des évaluations. Alors que ces
dernières étaient auparavant proposées sur des quantités de papier où les étudiants
remplissaient des cases minuscules, les entreprises et les établissements d’enseignement
ont désormais la possibilité de recourir à la technologie non seulement pour permettre des
évaluations à plus grande échelle mais aussi pour renforcer sensiblement l’efficacité du
processus.
Grâce aux évaluations, ces organisations peuvent orienter les étudiants vers des expériences
d’apprentissage marquantes, réduire les courbes d’apprentissage, étendre la courbe de l’oubli,
confirmer leurs capacités, connaissances et dispositions, et les motiver en leur procurant un
sentiment de satisfaction réel.
Ce livre blanc entend illustrer comment les organisations et les formateurs peuvent utiliser les
évaluations pour améliorer le processus d’apprentissage et en tirer de meilleurs résultats. Il
est conçu de manière à aider ses lecteurs à :
• identifier les types et les styles d’évaluation
• distinguer les différents types d’outils d’évaluation
• savoir élaborer des évaluations efficaces
• savoir analyser les résultats des évaluations
• appréhender la fiabilité et la validité
• comprendre les avantages des épreuves informatisées
d’apprentissage.
©2004 Questionmark Computing Ltd.
Page 2 sur 34
1. Introduction aux evaluations
Il est primordial de préciser le contexte des évaluations dans le cadre du processus
d’apprentissage. Bon nombre de styles d’évaluation ne sont pas traités dans ce document,
dont les évaluations médicales, les évaluations des risques dans les hôpitaux ou encore celles
requises pour l’accréditation d’universités et d’établissements d’enseignement supérieur. Dans
ce document, le terme générique « évaluations » désigne les quiz, les tests, les enquêtes et
les examens. Ces outils permettent de déterminer les connaissances, le savoir-faire, les
aptitudes et les dispositions des étudiants.
Le tableau ci-dessous propose une définition plus précise des ces termes :
Évaluation
Toute méthode systématique visant à obtenir des preuves à l’aide de
questions afin de déterminer les connaissances, le savoir-faire, les
dispositions et autres caractéristiques des participants dans un but
particulier.
Examen
Épreuve sommative permettant d’évaluer les connaissances ou les
capacités d’un étudiant dans le but de déterminer son niveau actuel
de connaissances ou de compétences.
Test
Épreuve diagnostique permettant d’évaluer les connaissances ou les
compétences d’un étudiant afin d’informer cet étudiant ou son
professeur de son niveau actuel de connaissances ou de
compétences.
Quiz
Épreuve formative permettant de mesurer les connaissances ou les
compétences d’un étudiant pour lui indiquer le niveau de ses
connaissances ou de ses compétences à ce stade.
Enquête
Épreuve diagnostique ou évaluation des réactions destinée à
mesurer les connaissances, les compétences et/ou les dispositions
d’un groupe afin de déterminer les besoins nécessaires pour
répondre à un objectif précis.
d’apprentissage.
Page 3 sur 34
1.1 Les applications d’une évaluation
Cinq objectifs ou utilisations de base sont envisageables pour les évaluations. Le tableau ciaprès les décrit :
Diagnostique
Évaluation servant avant tout à déterminer les besoins et les
connaissances préalables des participants afin de les orienter vers
l’expérience d’apprentissage la plus appropriée.
Formative
Évaluation destinée avant tout à offrir à un apprenant l’occasion de
s’exercer à rechercher et récupérer des informations dans sa
mémoire et à fournir un feed-back prescriptif (items, classes et/ou
questionnaires).
Évaluation
des besoins
Épreuve permettant d’évaluer les connaissances, les compétences,
les aptitudes et les dispositions d’un groupe afin de faciliter l’analyse
des différences ainsi que le développement de didacticiels. L’analyse
des différences permet de mesurer l’écart existant entre les
connaissances d’un étudiant et ce qu’il doit savoir.
Évaluation
des
réactions
Évaluation permettant de déterminer le degré de satisfaction d’un
apprentissage ou d’une épreuve. Ces évaluations sont souvent
qualifiées d’évaluations de niveau 1 (suivant le Dr. Donald
Kirkpatrick), d’évaluations de cours, d’évaluations de la satisfaction
ou « smile sheets ». Elles sont réalisées à la fin d’un apprentissage
ou d’une certification.
Sommative
Évaluation, généralement quantitative, dont l’objectif principal
consiste à remettre une note définitive et/ou à juger les progrès
accomplis par le participant. Si cette évaluation atteste que le
participant a satisfait à une norme établie indiquant qu’il possède des
connaissances spécialisées, une « certification » peut être remise.
1.1.1 Les évaluations diagnostiques
Si vous vous rendez chez le médecin, lui déclarez simplement « j’ai mal » et si celui-ci répond
« prenez ces comprimés », cela vous inquiéterait. Cependant, ce que le médecin vous
demande réellement c’est : « Où avezvous mal ? Votre douleur est-elle régulière ? Avez-vous
fait quelque chose récemment qui aurait pu déclencher la douleur ? » Telles sont les
questions que le médecin pose afin de débroussailler le terrain, de poser un diagnostic et de
rédiger une ordonnance. C’est exactement ce qui se passe lors d’évaluations diagnostiques.
Ce type d’évaluation est généralement utilisé dans le cadre d’épreuves de préapprentissage,
avant qu’une personne ne prenne part à une expérience d’apprentissage ou à un test de
niveau. Ainsi, un étudiant d’une université ayant l’anglais comme deuxième langue pourrait
effectuer un test afin d’établir si ses compétences en anglais sont suffisantes pour suivre
d’autres cours. Le test mesure ses connaissances et compétences afin de disposer
d’indications grâce auxquelles le formateur structurera le cours efficacement. Ce genre de test
crée également une intrigue qui, ce faisant, rendra l’apprentissage d’autant plus bénéfique.
Par exemple, si un formateur pose une question à laquelle un apprenant ne peut répondre, ce
dernier pourrait être avide de connaître la réponse et donc se montrer plus attentif en classe.
d’apprentissage.
Page 4 sur 34
Les évaluations diagnostiques servent à déterminer les connaissances, les différences et les
besoins relatifs aux compétences. Une telle évaluation peut révéler que Microsoft Word n’a
plus aucun secret pour l’étudiant mais que sa maîtrise d’Excel est relative. En fonction des
résultats de l’évaluation, un cours d’Excel peut être recommandé. Par ailleurs, à travers des
questions diagnostiques telles que : « préférez-vous une formation dirigée par un formateur
ou une formation en ligne ? », ce type d’évaluation peut permettre aux étudiants de vivre des
expériences d’apprentissage appropriées.
1.1.2 Les évaluations formatives
Les évaluations formatives donnent un feed-back aux participants et à leurs conseillers dans
le cadre du processus d’apprentissage à travers des exercices de recherche et de récupération
des informations. Lorsque les personnes sont tenues de répondre à des questions sur la
matière étudiée, leur cerveau scrute leur mémoire à la recherche des informations
pertinentes. Ces processus mnémoniques renforcent les connaissances des apprenants et
facilitent la mise à disposition de ces informations pour une utilisation ultérieure. Si les
réponses d’une personne sont erronées, le formateur dispose alors d’une opportunité
d’apprentissage ou peut donner un feed-back en déclarant « non, ce n’est pas tout à fait
correct… voici la bonne réponse » ou « non, mais avezvous envisagé le problème sous cet
angle ? ». Les pratiques de recherche et de récupération sont souvent utilisées pour :
•
•
des tests et examens d’entraînement
l’autoévaluation des connaissances, des compétences et des dispositions aux fins de
l’apprentissage
En démontrant l’efficacité de leur apprentissage, les évaluations formatives rassurent les
apprenants. Elles peuvent également leur indiquer le contraire en leur proposant un feed-back
visant à rectifier tout malentendu. Les recherches réalisées sur des sites Web ont permis de
mettre en lumière la propension des gens à recourir aux questionnaires et à utiliser leurs
résultats pour déclarer « je suis vraiment bon dans cette matière », « je peux passer à autre
chose » ou « je dois approfondir ce sujet ». Non seulement ces personnes ont pris conscience
de leur niveau de compétences mais elles sont en outre parvenues à réduire la courbe de
l’oubli sans s’en rendre compte à travers des pratiques de recherche et de récupération des
informations. Ces évaluations formatives sont parfois utilisées pour rassembler des données
qui contribuent au score global. Elles ne ressemblent pas à l’examen final mais s’apparentent
plutôt à une série de petits tests fournissant à l’enseignant des preuves sur lesquelles fonder
son jugement.
1.1.3 Les évaluations des besoins
Les évaluations des besoins déterminent les connaissances, les compétences, les aptitudes et
les dispositions d’un groupe afin de cibler ses besoins en matière de formation ou encore de
fournir les données utiles pour analyser les tâches d’un poste. Il s’agit de tests à faible portée
dont les résultats sont comparés aux exigences afin de déterminer les lacunes à combler.
Grâce à ces évaluations, les responsables de formation, les didacticiens et les enseignants
sont en mesure d’établir quels cours mettre en oeuvre ou administrer pour rencontrer les
attentes de leurs participants.
d’apprentissage.
Page 5 sur 34
1.1.4 Les évaluations des réactions
Une évaluation des réactions intervient lorsque nous analysons les réactions et les opinions
des étudiants par rapport à leur expérience d’apprentissage. Elle est généralement assimilée à
une évaluation de la satisfaction ou « smile sheet » et, sur base du modèle de Donald
Kirkpatrick, est catégorisée comme une évaluation de premier niveau. Dans le cadre des
établissements d’enseignement supérieur et des universités, il s’agit d’une évaluation de
cours. Une telle évaluation recueille l’opinion des étudiants sur les supports de cours, le
formateur, l’environnement d’apprentissage, les instructions pour l’accès aux installations ainsi
que tout support audiovisuel. Le formateur exploitera ces informations pour enrichir les
expériences d’apprentissage.
1.1.5 Les évaluations sommatives
Ces évaluations sont ce que leur nom indique : la somme des connaissances et compétences
de la personne évaluée. Ce type d’épreuve fournit une appréciation quantitative et permet
d’apprécier les connaissances, les compétences et les progrès accomplis par une personne. Il
peut notamment s’agir d’examens obligatoires ou non, accordant un score quantitatif révélant
le degré de connaissances et de compétences d’un candidat.
1.2 Les enjeux d’une évaluation
Avant d’examiner comment utiliser les évaluations le plus efficacement possible dans le cadre
du processus d’apprentissage, il est essentiel de garder à l’esprit qu’il en existe plusieurs types
et que ces diverses catégories peuvent être classées selon la portée du test, à savoir :
• une portée élevée
• une portée moyenne
• une faible portée
La portée d’une évaluation se rapporte aux conséquences auxquelles elle expose le candidat.
Ainsi, les répercussions d’un examen seront normalement plus importantes que celles d’une
enquête à l’incidence faible, voire nulle.
Quant aux évaluations à faible portée, telles que les formulaires et les enquêtes, leurs
conséquences sont minims pour le candidat. Dès lors, les responsabilités seront elles aussi de
moindre importance. Ces évaluations sont souvent individuelles étant donné qu’il n’y a aucune
raison de tricher ou de partager ses réponses avec d’autres. Aucune surveillance ne s’impose
donc. En d’autres termes, les responsables des tests ne vérifieront normalement pas les
identités et ne surveilleront pas un candidat prenant part à un test à faible portée alors qu’ils
le feraient dans le cas d’un examen à portée élevée.
Pour un formulaire ou une enquête, l’exigence de validité et de fiabilité est faible,
contrairement à un test à portée élevée tenu d’être fiable et valide. Ce dernier exige une
planification plus minutieuse. En règle générale, un test ou un examen dans un contexte
professionnel doit s’apparenter au poste ; dans le cas d’une institution académique,
ce même test ou examen doit être en rapport avec le programme d’études.
Une évaluation à faible portée requiert peu de planification. Les spécialistes de la question
(SME) se contentent de rédiger les questions et de les soumettre aux étudiants. Toutefois,
une épreuve à portée élevée nécessite une préparation rigoureuse passant notamment par
l’analyse des tâches d’un poste, la définition de scores de réussite/échec, la spécification des
méthodes et de la cohérence, ainsi que le mode d’archivage et de diffusion des résultats.
d’apprentissage.
Page 6 sur 34
L’analyse des tâches d’un poste permet d’établir les tâches inhérentes à une fonction, leur
fréquence ainsi que leur importance pour le poste. Les concepteurs des tests prévoient les
questions à inclure dans un exercice par sujet, les thèmes les plus importants et ceux qui le
sont moins ainsi que le niveau de compétence requis. Les scores de réussite/échec ou les
notes de passage établissent le seuil entre une réussite et un échec.
Enfin, dans le cadre d’un test à portée élevée, des psychométriciens analyseront les
statistiques résultantes et formuleront des recommandations sur la manière d’améliorer la
formulation des questions, des choix ou le test en général. Il est rare que ces spécialistes
interviennent dans des tests à faible portée.
1.3 Les facteurs liés à la portée d’une évaluation
La portée d’un test permet également de déterminer d’autres facteurs allant des
consequences globales à la validité du test lui-même.
Faible
Moyenne
Élevée
Conséquences
Peu
Quelques-unes
Beaucoup
Décisions
Peu et facilement
annulées
Peuvent être
annulées
Très difficiles à
annuler
Options pour le
participant
Parfaire ses études
Réussir, échouer ou
redoubler d’efforts
Réussir ou échouer
Propension à
tricher ?
Faible
Moyenne
Élevée
Identification
Pas importante
Peut-être importante
Très importante
Surveillance
obligatoire
Non
Parfois
Toujours et constante
Effort de
développement
Minime
Moyen
Important
Contrôle de la
validité et de la
fiabilité
Rare
SME
Psychométricien
Comme vous pouvez le constater dans le tableau ci-dessus, les évaluations entraînent des
consequences diverses. Un examen à portée élevée peut déboucher sur l’engagement ou la
révocation d’une personne, voire déterminer l’obtention de son diplôme. Comme on peut s’y
attendre, les tests à faible portée entraînent rarement des décisions et celles-ci peuvent être
aisément annulées. Si un candidat obtient une note insuffisante à un questionnaire, il peut
très facilement la contester. Toutefois, s’il échoue lors d’un examen de certification pour
l’accès à la profession d’infirmier, il lui sera très difficile, voire impossible, de la contester. Les
options qui s’offrent au candidat sont fonction de la portée.
Il va de soi qu’une enquête n’incite pas à tricher et que les candidats seront peu enclins à le
faire pour un questionnaire à faible portée. Étant donné que les questionnaires sont de
véritables aides à l’apprentissage, un tricheur ne tromperait que lui-même. Néanmoins, lors
d’un examen d’infirmier, d’architecte ou d’ingénieur, les enjeux sont bien plus élevés et les
candidats ont certainement de bonnes raisons de tricher. Cela implique par conséquent qu’il
est bien plus important d’identifier chacun des candidats participant à l’épreuve. En fait, lors
d’apprentissage.
Page 7 sur 34
de tests à portée élevée liés à la sécurité nationale tels que ceux de la CIA ou de l’armée, ces
organisations peuvent avoir recours à une identification biométrique, telle qu’une lecture
rétinienne, afin de s’assurer que l’identité du candidat est correcte.
S’il y a peu de raisons de tricher, il est évident qu’il n’est pas nécessaire de surveiller une
évaluation. Dans le cas contraire, ou en cas de forte propension à tricher, cette surveillance
devra être constante et permanente.
Un questionnaire n’impose qu’un effort de développement relatif, contrairement à des
évaluations à faible ou moyenne portée. Pour une épreuve à moyenne portée, il est de
coutume que le spécialiste de la question élabore trois questions par heure et qu'une seule
soit proposée dans le test. La mise au point des questions à portée élevée requiert bien plus
de temps. Entre leur conception par des experts en la matière et leur intégration dans un
examen à portée élevée, les questions à portée élevée coûtent en moyenne de 500 à 1.500
dollars chacune ! Si les enjeux sont élevés, il est primordial de s’assurer que chaque question
est adaptée à l’ensemble du test, qu’elle est valable et que les bons candidats, plus avertis, la
comprennent correctement alors que les autres, de moins bon niveau et moins avertis, ont
tendance à se tromper. C’est la raison pour laquelle il faut beaucoup de temps, d’efforts et de
réflexion avant de pouvoir proposer un ensemble de questions approprié dans un test ou un
examen à portée élevée.
1.4 La nature des évaluations
Chaque catégorie d’évaluation peut être associée à des utilisateurs types ; le tableau cidessous en précise la portée :
Type d’évaluation
Usage de l’évaluation
Portée de l’évaluation
Examen
Sommative
Moyenne, élevée
Test
Diagnostique
Faible, moyenne
Enquête
Besoins, réactions,
diagnostique
Faible
Les tests de niveau sont un exemple très répandu d’évaluation diagnostique. Les participants
choisissent ce type d’évaluation car il leur permet de s’orienter vers l’expérience
d’apprentissage la plus adéquate. A l’instar d’autres évaluations, certains tests de niveau ont
une faible portée alors que d’autres ont une portée plus élevée. La portée d'un test de niveau
proposé dans le cadre d’un examen d’entrée d’un établissement d’enseignement supérieur est
élevée alors qu’elle est faible dans le cas d’un indicateur des connaissances et des ressources
d’apprentissage.
Si une entreprise comptant 100 employés désire déterminer les écarts de compétences de son
personnel afin de lui proposer les programmes de formation adéquats, elle procèdera à une
évaluation à faible portée. Cette évaluation sera sans conséquence pour le candidat. Par
contre, elle pourrait avoir une incidence sur l’organisation. Même dans ce cas, les enjeux
restent généralement faibles. Il en va de même pour les autoévaluations. Elles permettent
aux participants de connaître leur niveau. Certaines enterprises soumettent aux employés du
service d’assistance un questionnaire de « mise en forme » le lundi matin. Ceux-ci ont pris le
large pour le week-end et ne sont pas très attentifs. Un questionnaire le lundi matin les place
en situation de réflexion. Il s’agit d’une évaluation formative à faible portée qui les amène à
rechercher et récupérer des informations.
d’apprentissage.
Page 8 sur 34
D’un autre côté, les évaluations à moyenne portée mesurent le niveau de connaissances et de
competences des employés. Plus elles sont personnelles et plus la portée est élevée et
entraîne des consequences importantes. Les examens à moyenne portée ne seront pas sans
conséquences étant donné que certaines personnes se verront probablement octroyer un
salaire plus généreux pour traiter de problèmes plus complexes. Dans un cadre académique,
les formateurs recourent à ce type d’évaluation pour attribuer les notes.
Les examens à portée élevée imposent une certification obligatoire notamment pour les
plombiers, les électriciens, les policiers, les thérapeutes, les médecins ou les infirmiers. Ces
professions sont toutes réglementées par les autorités municipales, régionales ou fédérales ;
dès lors, leur portée est considérée comme étant élevée. Toutefois, des examens non
obligatoires tels que les examens de certification de Microsoft, Cisco ou Linux ont également
des enjeux importants. Étant donné que les conséquences ne sont pas immédiates dans ce
cas, les enjeux sont légèrement moins importants que pour les certifications obligatoires. Ils
peuvent néanmoins permettre de trouver un emploi ou d’obtenir une promotion et pour cette
raison, leur portée est élevée. De la même manière, un examen d’entrée ou d’embauche
comporte des enjeux importants. Il est évident que si un candidat échoue à l’examen d’entrée
d’une école de droit, les
enjeux sont importants.
Enfin, certaines entreprises octroient « des permissions ». Si un membre du personnel réussit
un examen, il peut utiliser un type de machine particulier. En règle générale, plus la machine
est dangereuse et plus les enjeux sont élevés. À l’inverse, moins la machine comporte de
risques et plus les enjeux sont faibles.
1.5 Les clients sont concernés par les évaluations
Lorsqu’un plombier vient chez vous, va-t-il casser une canalisation ? Un chirurgien est-il
qualifié pour enlever la vésicule biliaire d’un patient ? Une personne est-elle suffisamment
compétente pour conduire un véhicule à passagers en toute sécurité ? Bien que quelqu’un
puisse se sentir désolé pour un malheureux étudiant qui échoue à un test, il est plus
important de déterminer si une personne est digne de confiance pour exécuter une tâche ou
un travail particulier.
Par conséquent, les clients, les personnes évaluées et les concepteurs des tests, ont conclu
une sorte de partenariat. Les clients aiment avoir la certitude qu’ils peuvent s’en remettre aux
personnes qu’ils embauchent et les concepteurs des tests à portée élevée souhaitent des
mesures précises à l’aide de tests valides et fiables. Les candidats, quant à eux, souhaitent
des tests équitables.
Il convient d’instaurer une communication à chaque niveau afin de s’assurer que tous les
protagonists comprennent que les concepteurs des tests s’efforcent de mettre au point un
système d’évaluation équitable et exploitable. Ces questions ont trait à la validité nominale –
le sentiment des non experts qu’un test évalue ce qu’il est censé évaluer. Un test doit non
seulement présenter une validité de contenu - le jugement fondé des experts selon lequel le
test évalue équitablement les compétences requises pour le poste, mais il doit également
jouir de la confiance du client et du candidat qui réalisera l’évaluation. La formation des
concepteurs des tests doit être adéquate ; les étudiants doivent se voir expliquer la validité
nominale d’une évaluation et être assurés qu’ils sont prêts à tenter l’expérience. Par ailleurs,
la validité de l’évaluation doit être indiquée aux clients afin qu’ils puissent accorder leur
confiance aux personnes qui effectuent leur travail.
d’apprentissage.
Page 9 sur 34
2. La fiabilité et la validité des évaluations
Une évaluation est jugée fiable lorsqu’elle est cohérente. Si enquête indique que les employés
sont satisfaits du déroulement d’une formation, elle doit démontrer la même chose trois jours
plus tard. (Ce type de fiabilité est qualifié de « fiabilité de test-retest ».) Lorsqu’un formateur
évalue un employé participant à un test de performances, les scores obtenus doivent être
identiques à ceux qu’octroierait un autre formateur (cela s’appelle un coefficient d’objectivité).
Une évaluation n’est valable que si elle mesure ce qu’elle est censée mesurer. Si des gens
satisfaits participent à un test ou une enquête, les résultats doivent indiquer qu’ils sont tous
satisfaits. De la même manière, lors d’une évaluation d’un groupe de participants avertis, le
test doit indiquer que tous les membres le sont. De bonnes évaluations sont à la fois fiables et
valables.
Lorsqu’une évaluation est réputée valable, les spécialistes estiment que la fonction et le
contenu sont en adéquation avec les tâches inhérentes au poste. Ce type de validité est
qualifié de validité de contenu. Afin de s’assurer de cette validité, les concepteurs des
évaluations doivent dans un premier temps procéder à une analyse des tâches liées au poste
afin de déterminer celles requises pour une fonction particulière. Pour ce faire, ils interrogent
les spécialistes de la question ou des personnes exerçant cette fonction afin de définir les
connaissances et les compétences nécessaires pour mener à bien les tâches propres au poste.
Il est alors possible d’élaborer un test valable à partir de ces informations.
La validité d’un test va de pair avec sa fiabilité. Toutefois, un test peut être fiable sans être
valable. Voici un exemple illustrant dans quelle mesure la fiabilité et la validité d’une
évaluation sont liées. Si nous proposons à deux reprises un test de vocabulaire à un groupe
d’infirmiers et si les résultats sont similaires, ce test sera alors jugé très fiable. Toutefois, le
simple fait que les résultats des tests soient fiables ne signifie nullement que ce test évalue
les compétences d’infirmier. Le test est fiable mais n’est pas valable pour évaluer les
compétences requises d’un infirmier qualifié. Il s’agit simplement d’une estimation cohérente
du vocabulaire. Imaginons à présent qu’un test de compétences pour infirmiers soit soumis à
deux reprises à un groupe composé à la fois d’infirmiers qualifiés et non qualifiés et que les
résultats diffèrent pour chacun des candidats. Nul va sans dire que ce test n’est pas fiable.
Dans ce cas, il ne peut être valide. Lorsque les résultats varient pour les mêmes candidats, ils
ne peuvent rien mesurer en particulier. Dès lors, le test n’est ni fiable ni valable. Un test des
compétences pour infirmiers fiable et valable fournira les mêmes résultats chaque fois
qu’il est proposé au même groupe de personnes et permettra systématiquement de distinguer
les infirmiers compétents des autres. Il est cohérent et évalue ce qu’il est supposé évaluer.
Figure 1
Fiable (cohérent) mais pas
valable
Figure 2
Pas fiable (cohérent) et ne
peut donc pas être valable
d’apprentissage.
Figure 3
Fiable et valable
Page 10 sur 34
Ces cibles sont un autre exemple plus visuel de l’interdépendance entre la fiabilité et la
validité. La cible de la Figure 1 révèle que les fléchettes sont situées dans la même zone,
démontrant par là que le lanceur – autrement dit, l’évaluation – est à la fois fiable et
cohérent. Toutefois, ses tentatives ne sont malheureusement pas valables.
Si elles l’avaient été, toutes les fléchettes auraient atteint le centre, le dix. La Figure 2 indique
que les fléchettes ont atterri à divers endroits de la cible. Cette évaluation n’est pas valable
parce qu’elle n’est pas cohérente. Le dernier exemple représente une évaluation à la fois
fiable et valable étant donné que toutes les tentatives (scores) sont regroupées et ciblent
l’objectif (poste). Il convient de noter que la fiabilité est possible sans validité mais que
l’inverse n’est pas vrai.
2.1 Interprétation des résultats d’une evaluation
Lorsque des personnes participent à une évaluation, il est essentiel qu’elles comprennent les
implications de leurs scores, en particulier lorsqu’une réussite ou un échec entraîne des
répercussions fondamentales sur leur existence. Deux méthodes peuvent être appliquées pour
noter une évaluation : la méthode critériée et la méthode normative.
Dans le cas d’une interprétation critériée des scores, les concepteurs des tests ont établi une
norme acceptable pour la note de réussite ou d’échec. Si une personne réussit le test, elle est
résolue à acquérir les qualifications requises, qu’il s’agisse d’un chirurgien ou d’un plombier et ce, quelles que soient les compétences que le test évalue.
Cette courbe représente le nombre de participants évalués et les scores obtenus. La partie
inférieure de l’échelle part des résultats du test (de 0 à 100), tandis que la partie de gauche
indique le nombre de personnes ayant obtenu un résultat précis. La note de passage a été
établie aux alentours de 70 pour cent. Elle a probablement été définie par des spécialistes de
la question chargés de déterminer les compétences requises pour réussir l’examen.
En vertu d’une interprétation critériée des scores, le taux de réussite sera plus ou moins
important d’une session d’examen à l’autre puisque chacune d’entre elle impliquera des
candidats dont les niveaux de connaissances
d’apprentissage.
Page 11 sur 34
varient. Ce qui est important, toutefois, c’est qu’une référence ait été définie quant aux
normes requises pour une fonction particulière. À titre d’exemple, pour un examen de
conduite, il sera procédé à une interprétation critériée des résultats étant donné qu’un certain
niveau de connaissances et de compétences a été jugé acceptable pour la réussite d’un tel
examen.
Un test normatif quant à lui compare les scores des candidats à ceux d’autres candidats. Il est
fréquent que des scores types obtenus par des groupes définis parmi les personnes prenant
part aux tests, c’est-à-dire les « normes », soient publiés pour ces tests. Les tests normatifs
sont utilisés pour procéder à des « sélections ». Ainsi, le test d’entrée d’une université peut
être conçu de manière à retenir des candidats pour les 100 places disponibles. Les
responsables de l’université se basent sur les scores du test afin de choisir les 100 meilleurs
candidats pour les places disponibles. D’une année à l’autre, le niveau du groupe d’étudiants
retenu sera plus ou moins élevé. L’essentiel étant toutefois que le test classe les scores des
candidats afin d’identifier facilement les 100 meilleurs d’entre eux.
En quoi ces références sont-elles importantes ? Si une ville décide de solliciter un architecte
pour concevoir un bâtiment, la commission de planification voudra s’assurer que cet architecte
a réussi un test critérié. Elle refusera certainement de confier un important projet de
construction à quelqu’un pour la simple et bonne raison qu’il s’agit de l’un des meilleurs
éléments de la promotion de 1977. D’un autre côté, un test normatif permettrait de
sélectionner les 10 meilleurs représentants commerciaux ou étudiants de l’année.
En tant que patients, il est rassurant de savoir que nos médecins, infirmiers et pharmaciens
ont réussi un examen de certification garantissant qu’ils disposent des compétences, des
connaissances et des aptitudes requises pour leur fonction. Il serait tout à fait déconcertant
d’apprendre que notre médecin est diplômé d’une université inconnue ayant pour habitude de
décerner des diplômes aux 50 meilleurs étudiants sans tenir compte de leurs aptitudes.
d’apprentissage.
Page 12 sur 34
2.2 Comparaison entre les épreuves chronométrées et accélérées
La majeure partie des tests est chronométrée mais diverses études ont révélé que 95 pour
cent des étudiants terminent un examen dans les délais impartis si ces derniers s’avèrent
raisonnables. Toutefois, certaines évaluations doivent être accélérées étant donné que la
rapidité est un critère essentiel des performances sur le terrain.
L’évaluation d’un technicien d’une salle de réacteurs nucléaires constitue une excellente étude
de cas. Un item du test pourrait simuler une situation dangereuse dans le cadre de laquelle
des alarmes sont déclenchées et/ou des indicateurs sont affichés sur les panneaux de
contrôle. Ce stimulus contraint la personne à agir dans un certain laps de temps. La situation
impose une action immédiate et ne laisse pas le loisir à la personne de consulter des aides à
l’emploi pour déterminer la marche à suivre la plus adéquate. La personne doit être au
fait des mesures à prendre et les appliquer dans un délai précis. Cela est considéré comme un
test accéléré puisque le temps de réaction du candidat est un critère essentiel de son travail
et doit donc être mesuré afin de préserver la validité du test.
3. Élaborer des expériences d’apprentissage appropriées
Les évaluations sont un outil précieux grâce auquel les organisations développent des
experiences d’apprentissage efficaces et utiles. Cela exige une procédure en six étapes.
Dans un premier temps, les organisations évaluent leurs objectifs. Il peut s’agir de renforcer
la satisfaction de la clientèle, de faire baisser les taux d’erreur ou encore d’améliorer la cote
de sécurité d’une usine. Dans le cas d’un établissement d’enseignement supérieur, les
questions suivantes doivent être posées : « Quels objectifs le programme d’études poursuit-il
? » ou « Que doivent démontrer les étudiants afin d’attester de la maîtrise de notre
programme ? »
Ensuite, il est essentiel de déterminer les connaissances et capacités requises pour concrétiser
ces objectifs. Dans un contexte commercial, une entreprise pourrait chercher à renforcer la
satisfaction de sa clientèle, ce qui exige un certain niveau de connaissance des produits ainsi
que des compétences en communication. Ces dernières peuvent alors être divisées en
compétences en communication écrite et/ou orale, etc. De la meme manière, dans le cadre
d’un cours de chimie organique, enseigné dans un établissement d’enseignement supérieur ou
à l’université, insistant sur l’importance de cette matière pour la datation par le carbone 14, il
est important de déterminer les connaissances et les compétences requises pour appréhender
ces concepts et les appliquer. À partir des réponses obtenues, le professeur peut alors définir
la structure thématique permettant d’établir les connaissances, les compétences, les aptitudes
et les dispositions nécessaires pour atteindre les objectifs.
L’étape suivante consiste à analyser les besoins ou lacunes liées aux compétences. Dans ce
cadre, les candidates procèdent à une évaluation des besoins afin de déterminer leurs
connaissances et leurs compétences à ce stade et ce qu’ils doivent encore apprendre. Une
analyse des lacunes peut être réalisée sur base de la différence existant entre les exigences
d’une part et les connaissances et les compétences des candidats d’autre part. Ce type
d’analyse peut ainsi révéler que si l’ensemble des compétences en communication orale des
candidats est irréprochable, leurs compétences à l’écrit souffrent de nombreuses lacunes.
Cette analyse devient essentielle puisque que l’entreprise tend à utiliser davantage les
courriels. L’étude fait ressortir que l’entreprise doit mettre sur pied un cours axé sur les
compétences en communication écrite.
d’apprentissage.
Page 13 sur 34
L’analyse des besoins laisse souvent transparaître que la formation n’est pas la solution. Ainsi,
si les employés doivent constamment envoyer une réponse longue et complexe aux clients
afin de réagir à une demande courante, l’entreprise pourrait créer une aide à l’emploi
permettant aux employés de copier/coller un texte standardisé dans les courriels.
Le respect de ces étapes permet aux organisations d’élaborer un plan d’apprentissage, c’està-dire, la quatrième étape. Ce plan précisera tous les objectifs d’apprentissage ainsi que la
manière dont il doit être administré. La mise au point des supports d’apprentissage et des
évaluations reposera sur les objectifs d’apprentissage. Une formation animée par un
formateur, une guidance par des responsables ou encore des cours d’apprentissage en ligne
sont autant de solutions pour faciliter l’apprentissage.
Il convient ensuite de procéder à une évaluation préalable à l’apprentissage avant que
quiconque n’entame le cours. Cette évaluation poursuivra deux objectifs : créer une intrigue
de manière à conserver l’attention des étudiants pendant le cours et les guider vers
l’expérience d’apprentissage la plus appropriée. Le niveau de certains étudiants sera avancé
alors que d’autres seront novices. L’évaluation préalable à l’apprentissage oriente les étudiants
vers l’expérience d’apprentissage qui leur convient.
3.1 La formation
La formation recourt à des évaluations formatives ou à la création de connaissances à partir
d’informations et propose des exercices de récupération des informations. Un coach ou un
enseignant appliquant cette méthode peut demander à un étudiant « As-tu bien compris cela
? » et ensuite lui poser une question spécifique l’obligeant à se rappeler, considérer ou peutêtre utiliser la matière. Cette méthode impose un exercice de recherche et de récupération
grâce auquel l’étudiant aura plus de chance de se souvenir de la matière enseignée.
L’étape suivante est une évaluation après formation. Celle-ci indique si les acquis de
l’apprenant sont suffisants une fois le cours terminé, c’est-à-dire, s’il maîtrise ou non les
compétences que le cours cherche à lui conférer. À travers cette évaluation, il sera possible
de déterminer si l’étudiant doit suivre à nouveau le cours, s’il a le feu vert pour faire son
travail ou s’il doit prendre part à un examen préalable à la certification.
d’apprentissage.
Page 14 sur 34
Dans certains cas, en particulier lors d’évaluations à portée élevée, les organisations
proposeront des tests d’entraînement et de précertification. Les entreprises les utilisent afin
de prévenir toute réaction négative à l’encontre d’un examen de certification. Dans le cas de
certifications non obligatoires – proposées par Microsoft et d’autres — l’échec répété des
membres du personnel aux évaluations à portée élevée aura des répercussions négatives sur
l’entreprise et sur le produit qu’elle commercialise. Pour éviter cela, des examens préalables à
la certification sont organisés afin d’aider les candidats à se mettre à la page et à réussir
les évaluations sommatives ou les certifications.
Si les résultats des étudiants ne sont pas satisfaisants lors d’un examen préalable à la
certification, ils peuvent être amenés à suivre à nouveau le cours. En outre, après un
apprentissage approprié, les étudiants peuvent prendre part à une évaluation des réactions de
manière à ce que les enseignants et les administrateurs déterminent ce que les apprenants
pensent de l’expérience d’apprentissage et en proposent de meilleures aux autres.
3.2 Les évaluations après la formation
En 1959, Donald Kirkpatrick a mis au point ce qui est devenu l’un des modèles d’évaluation
des programmes éducatifs les plus populaires. Le système de Kirkpatrick propose quatre
niveaux d’évaluation.
Le niveau 1 évalue la réaction des participants après une expérience d’apprentissage.
Il s’agit de recueillir l’opinion des participants : l’ont-ils appréciée ? Les supports
étaient-ils adaptés à leur travail ? A-t-elle répondu à leurs attentes ? Comment
l’améliorer ?
Le niveau 2 établit si un étudiant a atteint ou non ses objectifs dans le cadre d’une ou
plusieurs formations. Si l’expérience d’apprentissage a surpassé les attentes des
participants, on ne peut que s’en réjouir. Toutefois, si les objectifs en matière de
transfert des connaissances et des compétences n’ont pas été atteints, la validité de la
session sera remise en question. Une fois l’apprentissage terminé, nous pourrions par
exemple tester les compétences en communication écrite d’un apprenant afin de
vérifier s’il possède les qualifications requises pour le poste.
Le niveau 3 détermine si les apprenants sont parvenus mettre en pratique leurs
connaissances et leurs compétences dans le cadre de leur travail. Le niveau 2 nous a
indiqué qu’ils disposaient des capacités mais s’en servent-ils lorsqu’ils travaillent ?
D’autres problèmes les empêchent-ils de mener à bien leurs tâches ? Leur
comportement a-t-il changé ? Les informations requises pour le niveau 3 sont en
général glanées par l’intermédiaire d’enquêtes et d’entrevues personnelles.
Le niveau 4 porte sur les résultats. Il tente de répondre à la question suivante : « le
programme d’apprentissage était-il efficace ? ». Si les étudiants ont adoré la formation
et ont appris tout ce qu’il fallait en appliquant la moindre de leur connaissance dans le
cadre de leur travail, tant mieux. Mais les résultats escomptés ont-ils été obtenus ? Le
niveau 4 indique de manière fiable si un programme d’apprentissage a été bien pensé.
Était-ce en fait la formation qui posait problème ou des aides à l’emploi, des incitants
en vue d’un bon comportement, voire des sanctions pour mauvais comportement, se
seraient-ils avérés plus appropriés ? Correctement menées, les évaluations du niveau 4
mesurent le succès du programme en des termes que les responsables et les
dirigeants comprennent : augmentation de la production, amélioration de la qualité,
d’apprentissage.
Page 15 sur 34
réduction des coûts, réduction de la fréquence des accidents, progression des ventes,
voire même bénéfices ou retours sur investissements plus importants.
Jack Phillips a ajouté un autre niveau - le niveau 5 - au début des années 90. Celui-ci évalue
le retour sur investissements. Il détermine quels avantages financiers réels l’entreprise peut
tirer de l’investissement consenti pour la formation. Cette estimation constitue un véritable
défi mais les méthodes de collecte et d’analyse des données ont connu une évolution
fulgurante au cours de ces dernières années, à un point tel que le calcul du retour sur
investissement s’avère désormais utile pour les programmes d’apprentissage de plus grande
envergure. Pour un complément d’information sur les quatre niveaux d’évaluation, veuillez
consulter l’ouvrage suivant : Evaluating Training Programs: The Four Levels de Donald L.
Kirkpatrick (ISBN : 1-576750-42-6).
4. Améliorer la récupération dans des situations de performances
Les étudiants ont répété des années durant une blague sur la valeur des études.
« Pourquoi étudier ? Plus on étudie et plus on en sait. Plus on en sait et plus on oublie.
Plus on oublie et moins on en sait. Alors, pourquoi étudier ? »
Cette blague pourrait avoir une part de vérité. Sur un plan plus réaliste, nous pouvons définir
la capacité d’une personne à récupérer des informations par une équation basée sur le bon
sens :
Récupération = apprentissage – oubli
Nous nous efforçons souvent de progresser sur la courbe d’apprentissage mais il nous serait
peut-être tout aussi bénéfique de limiter notre chute sur la courbe de l’oubli. Autrement dit,
lutter contre l’oubli garantira une meilleure récupération.
Le Dr. Will Thalheimer est l’un des rares experts des questions relatives à la récupération des
informations dans des situations de performances. Il a analysé une kyrielle d’études publiées
dans des journaux scientifiques et a livré la quintessence de ces recherches dans une série de
livres blancs et de présentations. Dans le cadre de ce document, nous passerons brièvement
en revue les aspects essentiels des travaux du Dr. Thalheimer :
1. La récupération dans une situation de performances
2. Stimuler la recherche et la récupération à l’aide de questions
3. Les avantages de l’apprentissage par les questions
4.1 La récupération dans une situation de performances
De nombreux facteurs influencent notre capacité à récupérer des connaissances au moment
opportun. Un facteur essentiel n’est autre que le stimulus déclenchant la procédure de
recherche et de récupération des informations dans notre mémoire. Plus le stimulus en
situation d’apprentissage est similaire au stimulus en situation de performances et plus
l’apprenant sera capable de se souvenir de ce qu’il a appris. Les questions peuvent être des
stimuli. Plus une question parvient à « simuler » la situation de performances de l’apprenant
et plus elle facilitera la remémoration.
d’apprentissage.
Page 16 sur 34
Proposer le bon stimulus est parfois onéreux. Néanmoins, des résultats d’apprentissage
substantiels peuvent être obtenus à travers une approximation valable du stimulus recherché.
Penchons-nous sur le cas d’un opérateur d’un service d’assistance. Les éléments les plus
frappants de la situation de performances d’un tel opérateur sont d’une part le son provenant
du téléphone et d’autre part les informations visuelles proposées sur l’écran d’ordinateur. Ce
sont ces stimuli sur lesquels il faudra travailler dans le cadre de l’apprentissage. Par
conséquent, lors d’exercices pratiques et de l’évaluation des performances d’apprentissage,
l’idéal serait de recourir à la fois aux stimuli audio d’un téléphone et aux stimuli visuels de
l’ordinateur. Des questionnaires à choix multiples ne s’avèreraient pas aussi efficaces pour
simuler la situation de performances. Si l’audio n’est pas disponible, il serait tout aussi
acceptable de proposer des questions basées sur un texte reprenant les termes employés par
un appelant. Poser des questions reposant simplement sur des caractéristiques et des
fonctions ne déterminera pas la capacité d’une personne à effectuer le travail.
De nombreux autres stimuli peuvent être envisagés pour renforcer la capacité de récupération
des informations dans une situation de performances. Ainsi, si des travailleurs sont tenus
d’évoluer dans un environnement bruyant, il serait préférable que leur formation s’inscrive
dans cet environnement. Si des aspirants pilotes doivent prendre part à une mission de
combat, un entraînement dans un environnement de combat simulé serait le plus
efficace. Si vous devez travailler dans un environnement stressant, il serait sage que votre
apprentissage se déroule dans ce type d’environnement.
4.2 Stimuler la recherche et la récupération à l’aide de questions
Nous savons depuis une éternité que la répétition facilite l’apprentissage. Toutefois, une
répétition constante peut distraire et ne pas être très stimulante. Nous savons depuis une
éternité que la répétition facilite l’apprentissage. Toutefois, une répétition constante peut
distraire et ne pas être très stimulante. Nous savons depuis une éternité que la répétition
facilite l’apprentissage. Toutefois, une répétition constante peut distraire et ne pas être très
stimulante. Nous savons depuis une éternité que la répétition facilite l’apprentissage.
Toutefois, une répétition constante peut distraire et ne pas être très
stimulante. Vous saisissez ?
d’apprentissage.
Page 17 sur 34
Posons-nous à présent la question suivante : des répétitions trop fréquentes dans le cadre de
l’apprentissage s’avèrent-elles :
1.
2.
3.
4.
Salutaires pour l’esprit
Peu salutaires
Distrayantes
Stimulantes
En voici une autre : vous souhaitez que vos apprenants retiennent vos enseignements.
Comment devez-vous procéder ?
1.
2.
3.
4.
Éviter de répéter la matière à apprendre.
La répéter immédiatement et la répéter telle quelle.
La répéter immédiatement mais en la paraphrasant.
La répéter telle quelle mais en laissant s’écouler un certain délai.
Nous espérons que ces exemples vous paraissent plus engageants que notre premier
paragraphe. Les questions sont stimulantes et permettent une recherche et une récupération
des informations, deux éléments grâce auxquels nous nous remémorerons plus aisément les
choses en situation de performances. Tout comme la pratique nous permet de maîtriser des
compétences, la recherche et la récupération d’informations nous aident à nous en souvenir.
La solution la plus efficace consiste à procéder à cette interrogation dans un environnement
proche de celui de la situation de performances. Poser des questions incite à rechercher et
récupérer des informations. Le stimulus, à savoir une voix, un texte, une question à choix
multiple ou une simulation, réside dans la question elle-même. Plus le stimulus est réaliste
mieux c’est car il simulera le processus de recherche et de récupération utilisé dans une
situation de performances. L’environnement est un facteur moins évident en matière
d’apprentissage. Si quelqu’un travaille dans un environnement sombre, bruyant et humide, il
devra vraisemblablement apprendre dans ce même type d’environnement, surtout si c’est
dans ce cadre qu’il doit rechercher et récupérer des informations.
d’apprentissage.
Page 18 sur 34
Meilleur sera le stimulus et meilleures seront la recherche et la récupération des informations
et donc l’apprentissage. Des coûts élevés peuvent toutefois imposer un compromis. Par
exemple, si les formateurs installent les étudiants dans un avion militaire réel, il est
extrêmement onéreux et risqué de dépenser des centaines de millions de dollars en
équipement pour apprendre à quelqu’un à piloter. Néanmoins, proposer à ces mêmes
étudiants de répondre à un questionnaire à choix multiple sur un ordinateur ne constitue pas
une expérience d’apprentissage adéquate. Si des images ou des vidéos sont utilisées sur
l’ordinateur, le stimulus en sera cependant d’autant plus fort. Voici un autre exemple, moins
spectaculaire : dans un centre d’appel, si les formateurs ajoutent la voix d’un client en
demandant ensuite à l’apprenant de réagir aux questions du client simulé, le stimulus et, par
conséquent, l’apprentissage, seront plus efficaces qu’un formulaire ordinaire.
4.3 Mesurer à l’aide d’une evaluation
Nous garantirons une meilleure procédure de recherche et de récupération si nous
rapprochons l’environnement d’apprentissage de celui de performances. Il en va de même
pour la mesure des connaissances et des compétences. Plus l’environnement de mesure est
similaire à l’environnement de performances et meilleure sera la mesure des connaissances et
des compétences dans le cadre du travail. C’est la raison pour laquelle un examen de conduite
passe notamment par la conduite d’un véhicule. Ce principe peut être illustré comme sur le
graphique ci-dessous :
4.4 Les facteurs influençant les acquis des apprenants
Il est évident qu’un certain nombre de facteurs déterminent la raison pour laquelle des
personnes apprennent dans des environnements différents. L’attention des gens vagabonde.
Lors de présentations virtuelles, ils peuvent consulter leurs courriels ou discuter avec
quelqu’un qui entre dans le bureau. Ils ont l’esprit ailleurs. Dans une salle de classe, les
étudiants regarderont éventuellement par la fenêtre ou penseront à d’autres
choses.
La majeure partie des participants ne digère pas toutes les informations. Ils les entendent
mais n’en comprennent pas le sens. Les concepts sont parfois trop complexes pour qu’ils les
d’apprentissage.
Page 19 sur 34
saisissent de but en blanc. Les participants doivent écouter les informations à plusieurs
reprises avant de commencer à s’en imprégner.
Même si un participant parvient à tout retenir, il est fort probable qu’il oubliera quelque chose.
En fin de compte, nous ne pouvons nous rappeler que des informations que nous récupérons.
Il arrive que les apprenants oublient parce qu'il n'y a ni stimulus ni signal dans leur
environnement ou parce qu'un laps de temps trop important s'est écoulé depuis
l’apprentissage. Ainsi, peu de personnes utilisent des équations algébriques, ce qui explique
que la plupart des adultes a oublié comment les résoudre alors que la majorité des étudiants
de l’enseignement secondaire en est capable.
Certaines situations donnent l’impression aux étudiants qu’ils ont appris quelque chose alors
qu’en réalité ils ont mal interprété les informations et ont développé une conception erronée.
Bien des facteurs déterminent la quantité d’informations accumulées et la manière dont nous
les récupérons : l’environnement d’apprentissage, le mode de présentation des supports, la
méthode d’enseignement, etc. Mais les évaluations sont un élément essentiel du processus
d’apprentissage. Les évaluations diagnostiques peuvent nous orienter vers des expériences
d’apprentissage adéquates. Les évaluations formatives nous aident à renforcer l’efficacité de
l’apprentissage en focalisant l’attention, en créant une intrigue, en offrant la possibilité de
rechercher et récupérer des informations et en rectifiant les conceptions erronées.
Des questions préalables bien formulées peuvent par exemple créer une intrigue avant même
le début d’une session d’apprentissage. Des questions dans le cadre de cette dernière
contraignent les étudiants à faire fi de toute distraction et à rechercher et récupérer des
informations pour y répondre. Par ailleurs, les questions remettent les étudiants sur les rails
parce qu’ils sont tenus d’y répondre.
Mais que se passe-t-il si nous ne pouvons tout retenir ? (« Plus nous étudions… ») S’il est
exact que la répétition facilite l’apprentissage, la formation devient ennuyeuse si nous nous
contentons de répéter les choses. Les questions sont une autre forme de répétition qui n’est
pas source d’ennui puisqu’elle amène les étudiants à analyser un problème sous tous ses
aspects.
Ces techniques permettent par ailleurs de limiter l’oubli. La répétition renforce constamment
l’acquisition de nouvelles informations pour les apprenants et le feed-back peut rectifier toute
conception erronée. Toutefois, nous sommes souvent trop optimistes quant à notre capacité à
nous rappeler des informations. En espaçant les questions dans le temps, il nous est possible
d’atténuer la courbe de l’oubli à travers une pratique continue de la recherche et de la
récupération, ce qui facilite le processus d’apprentissage. Si quelqu’un vous demandait de
résoudre une équation algébrique par semaine une fois votre diplôme en poche, il y a de
fortes chances que vous en soyez encore capable. Cela pourrait s’avérer utile si vous
envisagiez de retourner à l’école ou d’utiliser l’algèbre dans le cadre de votre travail.
Gardez enfin à l’esprit que l’apprentissage n’est qu’une question de contexte. Grâce à la
récupération des informations dans une situation de performances, les étudiants peuvent
rapprocher leur environnement et la méthode de récupération des informations requises
lorsqu’ils en ont besoin.
d’apprentissage.
Page 20 sur 34
4.5 Une étude fait ressortir les avantages des questions
Les recherches du Dr. Will Thalheimer réalisées à partir d’études publiées dans des journaux
scientifiques attestent les avantages de l’apprentissage par les questions.
5. Analyse des résultats
À l’analyse des divers types d’évaluations, il est indéniable qu’elles poursuivent des objectifs
tout à fait distincts. Chaque type d’évaluation nécessite un style d’analyse et de rapport
différent afin d’en souligner l’intérêt pour les participants et/ou l’administrateur.
Les évaluations diagnostiques par exemple déterminent les connaissances, les compétences,
les aptitudes et/ou les dispositions d’une personne en recommandant éventuellement une
expérience ou une session d’apprentissage appropriée. Il est utile de préciser les différents
niveaux d’apprentissage qui doivent être disponibles. Ces niveaux peuvent servir de base pour
opérer un diagnostic voire fournir un feed-back prescriptif. Mais comment savoir si le
diagnostic et les recommandations sont pertinents ? Les enquêtes auprès des étudiants
et des formateurs font souvent ressortir la précision des évaluations diagnostiques.
Lors d’évaluations sommatives, qui ne sont autres que des examens à portée élevée, une
analyse des items confirme que les questions mesurent correctement les connaissances, les
compétences, les aptitudes et les dispositions et que les rapports sont formatés de manière à
faciliter toute analyse psychométrique.
Nous examinerons les questions et proposerons des échantillons de rapport, extraits de
données réelles sur la clientèle, afin de mieux expliquer de quelle manière les rapports
peuvent fournir les indices requis pour renforcer l’expérience d’apprentissage et donner un
sens aux mesures réalisées lors des évaluations.
5.1 Analyse des évaluations diagnostiques
Une évaluation diagnostique entend avant tout identifier les besoins et les connaissances
préalables d’un étudiant potentiel afin de lui recommander l’apprentissage le plus adapté.
L’analyse d’une evaluation diagnostique comporte deux aspects :
• L’analyse initiale : détermine les questions requises ainsi que les thèmes qu’elles
doivent couvrir
• L’analyse postérieure à la formation : établit si l’évaluation diagnostique est
conforme aux attentes de l’étudiant.
d’apprentissage.
Page 21 sur 34
L’analyse initiale est réalisée en recourant aux mêmes techniques que celles d’une évaluation
des besoins. Dans le cadre de l’analyse postérieure à la formation, les étudiants et les
formateurs sont sondés et interrogés afin de déterminer si les étudiants ont été orientés vers
la bonne expérience d’apprentissage. Les résultats de l’enquête présentés ci-dessous
indiquent une évaluation diagnostique lacunaire en partant du principe que les résultats de
l’évaluation des réactions de niveau 1 démontrent que le cours, l’environnement, les supports
et le formateur ont été bien perçus. Les résultats de l’élément de l’échelle de Likert - « J’ai eu
l’impression que le cours que j’ai suivi était trop avancé pour moi » - laissent clairement
transparaître une lacune :
5.2 Analyse des évaluations formatives
Une évaluation formative doit avant tout permettre à un étudiant de rechercher et de
récupérer des informations et fournir un feed-back prescriptif (questions individuelles, thèmes
et questionnaires de niveau). Lors d’évaluations formatives, un feed-back est proposé aux
étudiants par rapport à une question individuelle ou un thème. Le candidat peut ainsi savoir
s’il est sur la bonne voie ou s’il fait fausse route. Il ne s’agit pas réellement d’un rapport mais
d’un feed-back instantané proposé à l’étudiant.
En règle générale, ces questions individuelles sont peu analysées. Les étudiants sont parfois
interrogés à l’aide d’une évaluation des réactions (enquête de niveau 1) afin de s’assurer que
le feed-back des évaluations formatives (formulaires) a été utile.
5.3 Analyse des évaluations des besoins
Une évaluation des besoins sert à déterminer les connaissances, les capacités, les aptitudes et
les dispositions d’un groupe afin de faciliter l’analyse des lacunes et le développement de
didacticiels. L’analyse des lacunes permet d’établir l’écart entre les connaissances d’un
étudiant et ce qu’il est tenu de savoir.
En matière d’analyse des besoins, il existe deux rapports essentiels :
1. Les résultats de l’analyse des tâches du poste de travail pour rendre compte de la
pratique sur le terrain. Ils sont exprimés quantitativement.
2. L’analyse des écarts entre les aptitudes requises et celles déterminées à travers une
enquête sur les compétences et une analyse des besoins.
L’enquête relative à l’analyse des tâches du poste propose des questions élaborées par des
experts de la question et des spécialistes afin de définir l’importance et la fréquence de
d’apprentissage.
Page 22 sur 34
certaines tâches. De l’analyse des tâches du poste dépendent la conception du programme
éducatif et l’élaboration de questions permettant d’évaluer les connaissances, les capacités,
les aptitudes et les dispositions inhérentes à la fonction.
Le rapport émanant de l’évaluation de l’analyse des besoins (ci-dessous) présente les résultats
ventilés par thème. Après examen des résultats obtenus par deux groupes différents – ceux
des travailleurs et ceux des spécialistes de la question— il ressort clairement que le problème
se situe au niveau des connaissances en matière de sécurité alimentaire. Le résultat global du
test n’indique pas quelle question il faut traiter bien qu’il souligne une différence générale
entre les deux groupes. Au niveau des thèmes, l’analyse des écarts en fait ressortir un
pouvant faire l’objet de mesures. Un diagnostic ne peut s’opérer qu’à partir du résultat d’un
thème.
Thème
Sécurité alimentaire
Emballages alimentaires
Service à la clientèle
Résultat global
Résultats
moyens des
travailleurs
60%
90%
71%
74%
Résultats
moyens des
spécialistes de
la question
93%
91%
82%
89%
Écart
33%
1%
11%
15%
L’analyse des résultats généraux peut ne comporter que peu de valeurs recevables. Le
graphique ci-dessous révèle une différence entre de nouveaux employés et des experts de la
question. Il est toutefois intéressant de définir une marche à suivre adéquate :
Le graphique ci-dessous compare nos SME à de nouveaux employés et révèle que ces
derniers n’ont pas besoin d’une formation poussée pour comprendre les aspects liés à
l’emballage et à la présentation.
d’apprentissage.
Page 23 sur 34
Le graphique ci-dessous présente les résultats du test au niveau des thèmes en ce qui
concerne la « sécurité alimentaire ». Cette évaluation de la sécurité alimentaire indique
clairement que les nouveaux employés ont une perception totalement différente de celle des
spécialistes de la question. L’employeur est ainsi en mesure d’appréhender les besoins de
l’organisation afin d’investir dans une formation des nouveaux employés et veiller à ce que la
nourriture soit préparée en toute sécurité.
5.4 Analyse des évaluations des reactions
Une évaluation des réactions définit le degré de satisfaction procuré par une session
d’apprentissage ou une évaluation. Il s’agit souvent d’évaluations de niveau 1 (suivant le Dr.
Kirkpatrick), d’évaluations de cours, d’évaluations de la satisfaction ou « smile sheets ». Elles
sont réalisées à la fin d’un apprentissage ou d’une certification.
Les évaluations des réactions facilitent la planification de la révision du cours et de sa
diffusion.
Dans l’exemple ci-dessous, les questions 8 et 9 du rapport étaient intéressantes.
d’apprentissage.
Page 24 sur 34
8. J’ai le temps de suivre la formation dont j’ai besoin pour bien faire mon travail.
9. Les cours de formation dont j’ai besoin sont programmés à des périodes et des endroits
opportuns.
Le point 8 propose l’affirmation suivante : « J’ai le temps de suivre la formation dont j’ai
besoin pour bien faire mon travail». Les personnes interrogées répondent par l’affirmative.
Néanmoins, toutes celles qui ont répondu à la question 9 sont en désaccord avec la
déclaration suivante : « Les cours de formation dont j’ai besoin sont programmés à des
périodes et des endroits opportuns. » Ce que les responsables de cette évaluation ont
découvert, c’est que les sessions de formation ont été programmées en fin de mois en plein
période de surcharge de travail pour l’entreprise. Ce problème était simple à résoudre :
l’entreprise a déplacé les formations au début du mois suivant. Les réponses apportées à la
question 9 ont radicalement changé les choses.
Synthèse des questions relatives au contexte d’apprentissage
d’apprentissage.
Page 25 sur 34
Synthèse des questions relatives au formateur
Synthèse des questions relatives aux supports de cours
Les réponses à une autre série de questions - proposées ci-dessus - indiquent que le contexte
d’apprentissage et le formateur étaient excellents mais qu’il n’en allait pas de même pour les
supports de cours. Le message est clair : les formateurs doivent revoir leurs supports de
cours.
5.5 Analyse des évaluations sommatives
Une évaluation sommative vise avant tout à attribuer une note quantitative et/ou mesurer les
progrès accomplis par un participant. Ce type d’évaluation est qualifié de « certification »
lorsqu’il s’agit de s’assurer que la personne évaluée satisfait à la norme préétablie et qu’elle
possède des connaissances spécialisées.
Divers types d’analyse sont nécessaires pour garantir la validité et la fiabilité d’une évaluation
sommative (voir ci-dessous).
5.5.1 Analyse des items
Les résultats de cette analyse des items d’une question à choix multiple illustrent de quelle
manière les réponses individuelles peuvent fournir des informations capitales tant sur le test
que sur la personne évaluée.
d’apprentissage.
Page 26 sur 34
Choix
Nbre de
personnes
interrogées
Sélection (%)
Difficulté
A
30
4%
36%
-0,32
B
75
10%
47%
-0,22
C
480
64%
D
165
22%
0,64
Moyenne des
participants
76%
Discrimination
0,49
52%
Corrélation
des résultats
0,24
-0,15
Parmi les choix proposés dans le tableau ci-dessus, la réponse correcte était le point C
(surligné en vert). Comme ce tableau l’indique, 4 pour cent des participants ont choisi A, 10
pour cent B, etc. Que révèlent ces statistiques ?
Tout d’abord que si 100 pour cent des personnes interrogées avaient correctement répondu,
cela aurait signifié que la question était trop simple pour permettre une distinction des
performances des divers candidats. Lors de la création d’un test normatif conçu pour ne
sélectionner que les meilleurs participants d’un groupe, les items auxquels tous les candidats
auront correctement répondu ne s’avéreront pas utiles. Si personne n’a donné la bonne
réponse, cela indique que la question était trop difficile pour différencier les résultats des
candidats et, qu’une fois encore, elle n’est pas pertinente pour la création d’un test normatif.
Les questions les plus efficaces pour différencier les candidats avertis des moins expérimentés
sont les questions à poser lorsque vous souhaitez repérer les meilleurs ou les moins bons
candidats d’un groupe.
Les auteurs des tests critériés adoptent une attitude quelque peu différente à l’égard des
questions de tests auxquelles tous les candidats obtiennent une bonne ou une mauvaise
réponse. Ce genre de test comporte des items évaluant des compétences spécifiques et
essentielles dont les candidats doivent disposer pour effectuer un travail ou réussir un cours.
Les questions individuelles qui, selon les experts de la question, mesurent de telles
compétences sont proposées dans le test critérié même si tous les candidats y répondent en
général correctement ou s’ils sont peu nombreux dans ce cas.
Il est crucial que la personne interrogée vérifie qu’elle dispose de chaque compétence ; les
scores des candidats sont comparés à une norme préétablie au lieu d’être comparés entre
eux. Si l’enseignement des compétences essentielles est fructueux, tous les candidats seront
normalement en mesure de répondre correctement à un grand nombre d’items. Étant donné
que le test n’entend pas classer les scores obtenus par les candidats, de tels items ne posent
aucun problème à moins que les personnes interrogées n’apportent la bonne réponse que
parce que les questions leur permettent de la deviner au lieu de mesurer les véritables
compétences. Les items auxquels les candidats répondent de façon incorrecte font ressortir
de sérieux problèmes soit au niveau des items eux-mêmes soit au niveau de la formation qui
prépare les candidats au test. Si ces questions individuelles ne présentent aucune
imperfection, elles sont maintenues dans le test critérié et la formation est améliorée jusqu’à
ce que les candidats puissent y répondre correctement.
L’indice de « difficulté » correspond au pourcentage de candidats ayant répondu correctement
aux items. Dans le cas d’une question à quatre choix, si tous les candidats devaient deviner la
réponse, près de 25 pour cent d’entre eux sélectionnerait chaque proposition. Par conséquent,
0,25 constitue normalement le pourcentage de difficulté le plus faible auquel on peut
s’attendre si aucun des candidats ne connaît la réponse parce que l’item est imparfait ou la
formation préalable est mauvaise. Les valeurs indiquant une difficulté se situent généralement
d’apprentissage.
Page 27 sur 34
entre 0,6 et 0,8 mais ces pourcentages dépendent de la qualité de la question et de la
compétence des candidats.
Si les auteurs des tests souhaitent classer les résultats des candidats, ils se doivent de rédiger
des questions relativement plus complexes ou permettant de différencier les bons candidats
des mauvais. Afin de relever la difficulté d’un test, il ne sert à rien d’imaginer des questions
plus complexes. Il convient de s’assurer avant toute chose que les questions sont valables,
qu’elles se focalisent sur les objectifs essentiels et de se limiter à augmenter la note de
réussite/d’échec.
La colonne intitulée « Moyenne des participants » indique la note moyenne finale pour
l’ensemble de l’évaluation des candidats qui ont choisi l’option correspondante. 36 pour cent
ont sélectionné l’option A pour l’ensemble du test, ce qui révèle que les étudiants les moins
avertis ont également retenu la mauvaise réponse à cette question. D’autre part, les étudiants
ayant retenu la bonne réponse (C) n’étaient autres que les plus avertis, la moyenne des
participants atteignant 76 pour cent.
La discrimination correspond à un nombre situé entre -1 et +1 et illustre dans quelle mesure
les résultats relatifs à cette question sont liés à ceux du test dans son ensemble. Prenons un
exemple précis pour que clarifier les choses. Imaginons que des infirmiers se présentent à un
examen et que les plus avertis d’entre eux répondent correctement à une question alors que
ceux qui s’y connaissent moins se trompent, la « discrimination » n’en sera que plus grande
— le nombre indiqué dans la 6ème colonne. Dans notre exemple, la discrimination équivaut à
+0,49.
Imaginons à présent qu’une question sur le baseball soit insérée dans un test pour infirmiers.
Il est tout à fait possible que bon nombre d’entre eux soient férus de cette discipline mais il
est peu probable que les étudiants plus avertis en connaissent également plus sur le baseball.
Les résultats des tests peuvent indiquer que certains infirmiers maîtrisent parfaitement les
soins infirmiers et le baseball tandis que d’autres qui maîtrisent les soins infirmiers à la
perfection n’y connaissent rien au baseball. Il est dès lors fort peu probable qu’une corrélation
puisse être établie entre les résultats de cette question sur le baseball et les résultats
généraux du test. Il y a de fortes chances que les résultats révèlent une corrélation quasi
nulle (parfois appelée « correlation d’ordre 0 ») étant donné que cette question particulière
sur le baseball n’a aucun lien avec les résultats généraux du test.
Afin de considérer cela sous un autre angle, nous mesurons à présent deux choses : la
connaissance des soins infirmiers et celle du baseball. Ce que les infirmiers connaissent du
baseball n’a rien à voir avec leurs compétences en soins infirmiers : rien ne laisse penser que
la connaissance d’un domaine est liée à la maîtrise d’un autre. Il est donc peu probable
qu’une corrélation puisse être établie entre les résultats de cette question sur le baseball et
ceux du test dans son ensemble. Les statistiques liées à la discrimination et à la corrélation
nous aident à cibler ces questions.
La dernière colonne du graphique indique une statistique intitulée « corrélation des résultats
». Cette question a donné de bons résultats parce que les choix erronés ont des corrélations
négatives (les étudiants qui les choisissent n’ont pas bien réussi le test en général) et que le
choix adéquat a une corrélation positive, ce qui indique que cet item permet de faire la
distinction entre les bons ou les mauvais candidats ayant pris part au test. Les indices à forte
discrimination sont d’une importance capitale pour les créateurs des tests normatifs désirant
classer les résultats. Les concepteurs des tests critériés se soucient avant tout des items ayant
d’apprentissage.
Page 28 sur 34
des corrélations de résultats négatives en ce qui concerne la bonne solution. Ces items sont
presque toujours imparfaits étant donné que les meilleurs candidats les ratent
systématiquement alors que les moins bons y répondent correctement. Ils doivent être
analysés et corrigés ou supprimés.
5.5.2 Définition des scores de réussite/d’échec pour les tests normatifs
La définition d’un score de réussite/d’échec pour un test normatif est assez simple.
Déterminez d’abord combien de personnes doivent réussir. Un rapport indique le nombre de
candidats ayant obtenu chacun des scores, ce qui permet aux responsables du test de retenir
les meilleurs candidats. Ainsi, à l’aide du tableau cidessous, si 1.000 étudiants doivent réussir
pour obtenir leur diplôme et ainsi poursuivre leurs études, une note de passage de 78,6 pour
cent permettrait d’atteindre ce résultat.
Scores
Nombre de candidats
0% et plus
77% ou plus
78% ou plus
78,1% ou plus
78,2% ou plus
78,3% ou plus
78,4% ou plus
78,5% ou plus
78,6% ou plus
78,7% ou plus
78,8% ou plus
78,9% ou plus
79% ou plus
1.500
1.318
1.214
1.156
1.034
1.028
1.015
1.004
1.000
998
993
982
961
5.5.3 Définition des scores de réussite/d’échec pour les tests critériés
Ce document ne cherche pas à traiter de toutes les questions liées à la définition d’un score
de réussite/d’échec dans le cas des tests critériés. Il fait toutefois la lumière sur certains
rapports utiles pour recueillir des données nécessaires au processus de prise de décision.
Afin de disposer de telles données, il est notamment possible de comparer des étudiants
supposés ne pas connaître grand-chose sur un sujet aux spécialistes de la question.
d’apprentissage.
Page 29 sur 34
Ces experts ont obtenu de bons résultats et si nous considérons les résultats généraux, un
moins grand nombre d’étudiants a donné satisfaction par comparaison aux scores des
experts. Dans le cas des étudiants, la courbe gaussienne tend vers la partie inférieure de
l’échelle des scores, alors que pour les experts de la question, les scores tirent vers la partie
supérieure. Pour déterminer le score de réussite/d’échec, il est notamment possible de choisir
le score à l’intersection des deux courbes. Dans l’exemple ci-dessus, celle-ci se situerait aux
environs de 80 pour cent. La note située à l’intersection minimise le nombre de candidats de
ces groupes mal classés par le test, autrement dit, il minimise le nombre de non experts ayant
réussi et le nombre de spécialistes de la question ayant échoué.
Si la réussite ou l’échec est déterminé à partir d’un seul score, un seul ensemble de scores
peut être pris en compte. Toutefois, si plusieurs notes de passage sont utilisées pour les
divers thèmes du test, plusieurs ensembles de scores doivent alors être examinés.
6. Les avantages des épreuves informatisées
De toute évidence, les évaluations de tous types peuvent avoir une influence majeure sur le
contenu et la méthode d’apprentissage des étudiants, que ce soit en entreprise ou sur un
campus. Par ailleurs, nul va sans dire que si ces mêmes organisations devaient proposer ces
évaluations – formatives, sommatives, des besoins, des réactions sur papier, cela serait
fastidieux et il serait très difficile de rassembler les résultats requis pour procéder à un
changement opportun.
L’informatisation des évaluations permet d’obtenir des résultats valables quasi
instantanément. Ce feed-back rapide améliore la qualité de l’apprentissage et renforce la
satisfaction des apprenants. Des exercices d’entraînement accompagnés d’un feed-back
immédiat enrichissent grandement le processus d’apprentissage.
Disposer de ces éléments peut avoir un impact considérable tant sur le résultat que sur la
productivité et la conformité aux règlements. À titre d’exemple, les organisations tenues
d’afficher une conformité aux règlements – véracité de l’information en matière de prêt et
d’épargne, sécurité alimentaire – peuvent recourir à des évaluations informatisées pour
prouver rapidement qu’elles sont en ordre et satisfont dès lors les organes de réglementation.
Pour que les techniques d’évaluation décrites dans ce document s’avèrent réellement
bénéfiques, cernez avant toute chose vos objectifs : devez-vous identifier des personnes
qualifiées, améliorer le service à la clientèle, les délais de réponse ou satisfaire aux exigences
de conformité aux règlements ?
Dans un deuxième temps, documentez les thèmes et les objectifs d’apprentissage.
Déterminez le type d’évaluation dont votre organisation a besoin pour concrétiser les objectifs
que vous avez définis. Grâce à ces évaluations, votre organisation et vos étudiants pourront
atteindre leurs objectifs et vous les vôtres.
Enfin, envisagez la façon dont vous voulez administrer ces évaluations.
Questionmark peut fournir les outils informatiques nécessaires qui vous permettront d’obtenir
un feed-back et des rapports efficaces conduisant aux résultats recherchés. Vous pouvez en
apprendre davantage sur les produits d’évaluation de Questionmark sur notre site Web :
www.questionmark.com.
d’apprentissage.
Page 30 sur 34
Lectures recommandées :
Criterion Referenced Test Development: Technical and Legal Guidelines for Corporate
Training and Certification de Sharon A. Shrock et William C. Coscarelli (ISBN 1-890289-09-4)
Evaluating Training Programs: The Four Levels de Donald L. Kirkpatrick
(ISBN 1-576750-42-6)
Tests That Work de Odin Westgaard (ISBN 0-7879-4596-X)
Work-Learning Research livres blancs de Will Thalheimer
(à l’adresse www.work-learning.com)
Livres blancs consultables sur le site Web de Questionmark :
Delivering Computerized Assessments Safely and Securely
http://www.questionmark.com/communities/getresource.asp?file=DeliveringComputerisedAssessmentsSecurely.pdf&group_id=
5
The Learning Benefits of Asking Questions (Les avantages de l'apprentissage par les
questions) du Dr. Will Thalheimer
http://www.questionmark.com/communities/getresource.asp?file=LearningBenefitsOfQuestions.pdf&group_id=5
Creating and Deploying Computerized Level 1 Assessments (Créer et utiliser des
évaluations de niveau 1 informatisées)
http://www.questionmark.com/communities/getresource.asp?file=Level%201%20assessments.pdf&group_id=5
Improving Training Evaluations in Organizations (L’amélioration des évaluations de la
formation dans les Organisations) du Dr. Paul Squires
http://www.questionmark.com/communities/getresource.asp?file=training evaluation.pdf&group_id=5
d’apprentissage.
Page 31 sur 34
Glossaire
Évaluation
Toute méthode systématique visant à obtenir des preuves à l’aide de questions
afin de tirer des conclusions sur les connaissances, les compétences, les
dispositions et autres caractéristiques des participants dans un but particulier.
Examen
Épreuve sommative permettant d’évaluer les connaissances ou les capacités
d’un étudiant dans le but de déterminer son niveau actuel de connaissances ou
de capacités.
Test
Épreuve diagnostique permettant d’évaluer les connaissances ou les
competences d’un étudiant afin d’informer cet étudiant ou son professeur de
son niveau actuel de connaissances ou de compétences.
Quiz
Épreuve formative utilisée permettant de mesurer les connaissances ou les
compétences d’un étudiant pour lui indiquer le niveau de ses connaissances ou
ses compétences à ce stade.
Enquête
Épreuve diagnostique ou évaluation des réactions destinée à mesurer les
connaissances, les compétences et/ou les dispositions d’un groupe afin de
déterminer les besoins nécessaires pour répondre à un objectif précis.
Diagnostique
Évaluation servant avant tout à déterminer les besoins et les connaissances
préalables des participants afin de les orienter vers l’expérience d’apprentissage
la plus appropriée.
Formative
Évaluation destinée avant tout à offrir à un apprenant l’occasion de s’exercer à
rechercher et récupérer des informations dans sa mémoire et à fournir un feedback prescriptif (items, classes et/ou questionnaires).
Échelle de
Likert (Lykert)
Méthode permettant d’inviter une personne interrogée à faire part de son
opinion sur une déclaration présentée. Les échelles de Likert comportent
souvent 4 points (fortement d’accord, d’accord, en désaccord, fortement en
désaccord) ou 5 points (fortement d’accord, d’accord, neutre, en désaccord,
fortement en désaccord) mais présentent parfois jusqu'à 10 choix possibles.
Besoins
Épreuve permettant d’évaluer les connaissances, les compétences, les aptitudes
et les dispositions d’un groupe afin de faciliter l’analyse des différences ainsi
que le développement de didacticiels. L’analyse des différences permet de
mesurer l’écart existant entre les connaissances d’un étudiant et ce qu’il doit
savoir.
Réactions
Évaluation permettant de déterminer le degré de satisfaction d’un
apprentissage ou d’une évaluation. Ces évaluations sont souvent qualifiées
d’évaluations de niveau 1 (suivant le Dr. Kirkpatrick), d’évaluations de cours,
d’évaluations de la satisfaction ou « smile sheets ». Elles sont réalisées à la fin
d’un apprentissage ou d’une certification.
Sommative
Évaluation dont l’objectif principal est de donner une note quantitative et de
juger les progrès accomplis par le participant. Ce type d’évaluation est qualifié
de « certification » lorsqu’il s’agit de s’assurer que la personne évaluée possède
des connaissances spécialisées.
SME
Spécialiste de la question (Subject Matter Expert - SME)
d’apprentissage.
Page 32 sur 34
A propos de Questionmark :
Questionmark conçoit des logiciels de création d’épreuves d’évaluation depuis 1988. Le
système de gestion des évaluations Question mark Perception permet de créer des fichiers de
questions sans avoir à connaître le HTML ou maîtriser la programmation. Les utilisateurs ont
la possibilité de créer plusieurs bases de données de questions à partir desquelles ils peuvent
constituer des tests et des enquêtes, organisant les questions en classes et sous-classes. Ils
peuvent mélanger les questions et réponses pour chaque participant et prévisualiser les
sessions afin de voir comment elles s'afficheront après le déploiement. Il leur est possible de
présenter des questions comportant des vidéos, des graphiques ainsi qu’un large éventail de
styles. Les participants reçoivent un feed-back conformément aux spécifications de l'auteur du
test. Les réponses sont consignées dans un fichier afin de déterminer les résultats et effectuer
une analyse proposée sous divers formats de rapport. De nombreuses entreprises, institutions
gouvernementales, écoles et universités utilisent déjà les logiciels Questionmark dans plus de
50 pays. Questionmark compte plus de 2200 clients utilisant Perception et est un fervent
défenseur des normes ouvertes. Les applications courantes sont les examens, les quiz, les
aide-mémoire, les tests diagnostiques, les évaluations des compétences préalables aux cours
et les évaluations de cours. Un complément d’information est proposé à l'adresse suivante :
www.questionmark.com
d’apprentissage.
Page 33 sur 34
Questionmark Offices:
Questionmark
535 Connecticut Avenue
Suite 100
Norwallk, CT 06854
Tel: (800) 863-3950
(203) 425-2400
Fax: (800) 339-3944
[email protected]
Questionmark
4th Floor, Hill House
Highgate Hill
London N19 5NA
United Kingdom
Tel: +44 (0)20 7263 7575
Fax: +44 (0)20 7263 7555
[email protected]
Questionmark
Parc d’Activités Economiques
Avenue Léon Champagne, 2
B – 1480 Tubize (Saintes)
Belgium
Tel: +32 (0)2 398 02 01
Fax: +32 (0)2 398 02 00
[email protected]
Legal note
This document is copyright © Questionmark Corporation (Questionmark) 2004.
Although Questionmark has used all reasonable care in writing this document, Questionmark makes no representations about
the suitability of the information contained in this and related documents for any purpose. The document may include
technical inaccuracies or typographical errors, and changes may be periodically made to the document or to the software
referenced. This document is provided “as is” without warranty of any kind. See your Perception support contract for further
information.
Company and product names are trademarks of their respective owners. Mention of these companies in this document does
not imply any warranty by these companies or approval by them of this guide or its recommendations.
d’apprentissage.
Page 34 sur 34

Questionmark Hosting Service

Transcription

Documents pareils

la charte d`engagements reciproques du lycee saint paul

Projet GADS - CARDIE Cellule académique recherche

MOBILITÉ FONCTIONNELLE ET/OU ÉVOLUTION DE L`EMPLOI

Les évaluations

éTABLISSEMENTS SOCIAUX ET - Cap

01 Les dix compétences professionnelles du PE

Coopérative d`habitation Village Cloverdale ÉVALUATION DES

fiche d`évaluation – EAsY ENgLIsh Now 1

Participez à notre jeu-concours* pour gagner des Ray-Ban

Mode d`emploi base de données AIFRIS : lire les évaluations. Pour