Évaluer le portfolio pour évaluer des compétences Une grille d

Évaluer le portfolio pour évaluer des compétences Une grille d’évaluation doublement critériée Evelyne Vanden Eynde Résumé Le service d’aide à la réussite de la Haute Ecole Francisco Ferrer organise depuis quelques années déjà un séminaire méthodologique obligatoire visant à donner aux étudiants de première année de bachelier les bases d’une méthode de travail efficace et d’une réflexivité accrue quant à leur choix professionnel. A cette occasion, il a semblé opportun de leur faire élaborer un portfolio d’apprentissage qui non seulement témoignerait de leur évolution au cours du premier quadrimestre et de l’acquisition des compétences visées, mais servirait également de base à l’évaluation du séminaire en question. Afin d’objectiver au maximum cette évaluation, l’élaboration d’une grille critériée était indispensable. La particularité des modalités d’évaluation auxquelles l’équipe pédagogique du séminaire a recours se situe donc à deux niveaux. D’une part, les items d’évaluation sont fixés de manière précise, à priori. Et d’autre part, l’équipe a travaillé la critérisation des niveaux de satisfaction de ces items, sous forme de degré de maîtrise de chacune des compétences visées. Cet outil d’évaluation facilite le travail des différents enseignants en charge du séminaire et permet d’assurer, au mieux, une certaine homogénéité dans la correction et l’évaluation. De plus, les étudiants peuvent s’en servir comme un outil d’auto-­‐évaluation afin d’améliorer leur portfolio tout au long de son élaboration et jusqu’à sa présentation. Notons que la compétence terminale du séminaire en question est d’apprendre à apprendre, et pour cela quatre compétences transversales à la fois cognitives et socio-­‐affectives sont mises en avant : organiser, communiquer, analyser et s’engager. Afin de préciser la nature de ces compétences, nous avons mis en évidence cinq ressources – jouant le rôle d’indicateur – pour chacune d’elles. Puisqu’en effet, une compétence se définit comme un savoir-­‐agir complexe prenant appui sur une variété de ressources. Comme précisé ci-­‐
avant, pour chacune de celles-­‐ci, l’analyse et la cotation sont découpées en quatre niveaux selon le degré de satisfaction aux critères. Mots clés Aide à la réussite – portfolio – compétences – grille – (auto-­‐)évaluation. Introduction Depuis la création de la HEFF en 1995, un service d’aide à la réussite et d’orientation est à la disposition des étudiants de première année. Tout au long de ces années passées et plus récemment avec la réforme de Bologne, les préoccupations de nos autorités politiques et académiques, tant en Belgique qu’à l’étranger, se sont multipliées en faveur de la promotion de la réussite des étudiants de 1ère année de l’enseignement supérieur au sein des universités et des Hautes Ecoles. En effet, un taux de réussite avoisinant les 40% est devenu une réalité insupportable. De nouveaux moyens pour favoriser la réussite en 1ère année et améliorer la qualité de l’Enseignement supérieur sont, dès lors, alloués aux Hautes Ecoles. Dès lors, en 2007, la Haute Ecole Francisco Ferrer a mis sur pied un dispositif d’aide à la réussite visant l’intégration de sa population étudiante, dont une proportion certaine était issue de milieux socio-­‐économiques défavorisés, dans l’enseignement supérieur. Celui-­‐ci a pour ambition d’offrir aux étudiants de première génération les clés d’une méthodologie de travail efficace, des pistes de réflexion quant à leur choix d’orientation étudiante et professionnelle, ainsi que des occasions de s’intégrer dans leur nouvel environnement. Afin, d’éviter toute discrimination entre les étudiants qui auraient besoin de ce dispositif d’aide, la Haute Ecole a rendu celui-­‐ci obligatoire pour tous et de ce fait, a valorisé le séminaire par des crédits ECTS. C’est pourquoi, il a fallu trouver un moyen juste et efficace d’évaluer l’acquisition des compétences méthodologiques visées durant ce séminaire. L’équipe des conseillers pédagogiques et des promoteurs de la réussite s’est mise d’accord sur le portfolio comme outil d’évaluation des compétences visées par le séminaire. Restait alors à évaluer ce portfolio et à élaborer une grille d’évaluation critériée. Cadre théorique Naccache, Samson et Jouquan (2006) stipulent que le « portfolio est une collection organisée et cumulative de travaux et de réflexions d’un étudiant qui rassemble des informations sur les compétences qu’il a développées au cours d’une période plus ou moins longue d’apprentissage » Quant à lui, Tardif (2006) définit le portfolio comme « un dossier apte à fournir les documents nécessaires pour porter un jugement sur la qualité des performances. C’est un dossier évolutif rassemblant les travaux des apprenants ». Toujours en se basant sur Jaques Tardif (2006), nous définissons les compétences – ici évaluées -­‐ comme un savoir-­‐agir complexe prenant appui sur une variété de ressources. Analyse de l’outil Evaluer des compétences méthodologiques et réflexives au travers du portfolio. Dans le contexte du séminaire d’Activités d’Intégration Liées à l’Enseignement Supérieur (AILES), il fallait trouver un moyen d’évaluer et de valoriser le travail accompli par les étudiants tout au long du séminaire ainsi que l’acquisition des compétences transversales visées. Les étudiants seraient en mesure de mobiliser celles-­‐ci dans chacun de leurs enseignements d’abord, et dans leur vie professionnelle ensuite. En effet, la compétence terminale des AILES est d’ apprendre à apprendre, et pour cela quatre compétences transversales à la fois cognitives et socio-­‐affectives sont mises en avant : organiser, communiquer, analyser et s’engager. Afin de préciser la nature de ces compétences, nous avons mis en évidence cinq ressources1 – jouant le rôle d’indicateur – pour chacune d’elles. Puisqu’en effet, une compétence se définit comme un savoir-­‐agir complexe prenant appui sur une variété de ressources. Afin d’attester de leur parcours, de leurs questionnements et de leurs progrès, l’outil portfolio avait été retenu comme témoin et accompagnateur de leur apprentissage. Celui-­‐ci peut être utilisé comme outil d’évaluation des apprentissages puisqu’il permet de recueillir et conserver des échantillons des réalisations de l’élève. Le portfolio s’inscrit dans une démarche d’évaluation formative continue et permet une évaluation en collaboration avec l’étudiant. Il constitue également un outil de communication interactive entre l’apprenant et l’enseignant et est une source complémentaire d’informations sur l’apprenant, qui serait utilisée pour nuancer un jugement ou démontrer d’un projet. (Baron et Bruillard, 2003). Il s’agissait dès lors, de trouver un moyen valide d’évaluer. Les avantages que présente le portefeuille étudiant se situent dans la motivation que les étudiants peuvent retirer de cette implication nouvelle dans leur formation. Il est le témoin de leur progression et se contente de mettre l’accent sur le meilleur. En effet, les étudiants doivent en quelque sorte gérer les preuves de leur apprentissage et choisir ce qu’ils y démontrent. Le portfolio offre la possibilité d’une actualisation permanente des traces du processus d’apprentissage de l’étudiant. Et facilite une ouverture sur le monde permettant l’intervention (pédagogique) d’une tierce personne. Le portfolio étant, avant tout, un outil de présentation, il implique également une structuration de son travail optimale et démultiplie les possibilités d’expression. D’un point de vue purement pédagogique, le portfolio offre la possibilité aux étudiants de prendre conscience de leur progression dans l’apprentissage, ainsi que du rôle de l’écrit dans la réflexivité sur l’apprentissage et les stratégies qu’ils déploient à cet effet. De plus, de par le fait qu’il constitue également un outil d’évaluation, les étudiants ont également l’occasion de développer 1
En annexe 2, le référentiel des compétences et ressources du dispositif d’Activités d’Intégration Liées à l’Enseignement Supérieur des facultés d’auto-­‐évaluation et de recevoir une rétroaction sur leurs productions. Et par là, il responsabilise l’étudiant face à ses apprentissages. De plus, en termes d’évaluation, le portfolio donne lieu à une évaluation sommative des réalisations de l’apprenant, où l’on n’évalue pas un travail à un moment donné, mais un ensemble de travaux collectés au cours d’une phase d’apprentissage. En effet, la fonction principale de l’évaluation est bien d’aider l’apprenant dans son cheminement et de permettre à l’enseignant d’ajuster ses interventions pédagogiques. Le portfolio pourrait de ce fait être utilisé pour jauger les compétences des apprenants indépendamment de tout système de formation. Et enfin, son utilisation permet l’élaboration de critères d’évaluation communs à l’apprenant et à l’enseignant. En somme, le portfolio permet tout d’abord de développer les capacités métacognitives des apprenants en leur demandant de s’auto-­‐évaluer, d’observer leurs progrès en réfléchissant à leurs productions, en les évaluant et en prenant conscience de leurs forces et faiblesses Le portfolio de l’apprenant serait donc une collection de travaux sélectionnés par l’apprenant et/ou l’enseignant comme preuve de sa maîtrise des compétences requises ou de ses progrès. Il est, dans un second temps, commenté par l’enseignant autour de ses réalisations, de son cheminement et de ses réflexions. Evaluer un portfolio au travers d’une grille d’évaluation Après avoir répondu « le portfolio » à l’interrogation première « Quelle évaluation pour ces compétences ? » ; l’équipe responsable du séminaire s’est donc réunie à nouveau, autour de la question « Quelle évaluation pour le portfolio ? » Il paraissait trivial pour les membres de l’équipe pédagogique d’opter pour un portfolio afin de rendre compte de leurs apprentissage, de leur réflexivité et de leur parcours. Un examen n’aurait qu’insuffisamment pu rendre compte de tout cela. Cependant, le portfolio présentait un inconvénient non négligeable en ce qu’il comporte de subjectivité. Là où la subjectivité règne, il est évident que l’évaluation est délicate. Il importe donc, afin de rendre compte de la maîtrise des compétences visées et du développement de l’étudiant, une grille d’évaluation répondant à des critères objectifs. En ce qui concerne la partie écrite portfolio, il fallait distinguer la forme du fond. Pour la forme, sont donc valorisées l’organisation du document et l’expression écrite. Plus précisément, il faut que le lecteur soit capable de repérer et distinguer chacune des parties du portfolio et que la syntaxe, l’orthographe et le vocabulaire soient adéquats. En ce qui concerne le fond, il a été réparti selon les différentes activités. En effet, il est requis que l’étudiant dispose des traces et des analyses de chacune d’elles, ainsi qu’une synthèse globale sous la forme d’un texte intégrateur. La présentation orale était également sujette à une évaluation en regard de la forme et des contenus abordés. Concernant la forme, le support powerpoint devait répondre aux critères de nombre et de qualité et l’expression écrite et orale était également retenues, ainsi que la posture de l’étudiant et sa capacité à répondre de manière pertinente aux questions. Sur le fond, les informations doivent être représentatives et pertinentes et l’étudiant doit démontrer d’un esprit d’analyse et de synthèse. Pour chacun des items d’évaluation, l’analyse et la cotation sont découpées en quatre niveaux selon le degré de satisfaction aux critères définis en extension2. 2
Exemple de critères définis en extension pour l’item « organisation du document écrit » : -­‐ niveau 1 : les parties ne sont pas identifiées et sont présentées dans le désordre -­‐ niveau 2 : toutes les parties ne sont pas identifiées mais présentées dans l’ordre prescrit -­‐ niveau 3 : toutes les parties sont identifiées mais présentées dans le désordre -­‐ niveau 4 : toutes les parties sont identifiées et présentées dans l’ordre prescrit Grille d’évaluation synthétique3 PRÉSENCE AUX ACTIVITÉS 6 PORTFOLIO 30 Organisation du document 3 Forme Expression écrite 3 Introduction 3 Traces et analyse 24 PPP 4 Interviews 4 Fond Team Building 4 MT 4 Bibliothèque 4 Maîtrise du discours 4 Synthèse finale (texte intégrateur) 6 PRÉSENTATION ORALE 24 Support électronique 3 Forme Expression écrite 3 Expression orale 3 Présentation & posture 3 Pertinence des informations 3 Analyse des informations 3 Fond Capacité de synthèse 3 Ouverture au dialogue 3 3
La grille d’évaluation complète et critériée se situe en Annexe p.8 Conclusion Quand des portfolios sont utilisés à des fins de contrôle du développement personnel et académique d’un étudiant, il est important de savoir comment il s’évalue et s’analyse. Par conséquent, il est crucial que les portfolios utilisés de cette façon contiennent des réflexions écrites. Celles-­‐ci sont généralement organisées autour des compétences visées par le dispositif en place. En l’occurrence dans le cas des « Ailes », des compétences transversales cognitives et socio-­‐
affectives. Et le portfolio est alors un lieu de réflexion sur la façon dont leurs accomplissements sont reliés aux objectifs fixés. Ce type d’évaluation diffère des évaluations traditionnelles puisque les étudiants ne sont pas examinés mais sont invités à prouver leur compétence au travers de la réalisation et de la présentation de leur portfolio. Pour être valides, ces évaluations doivent répondre à des critères à la fois précis, partagés et communiqués. La particularité des modalités d’évaluation auxquelles l’équipe pédagogique des « Ailes » a recours se situe à deux niveaux. D’une part, les items d’évaluation sont fixés de manière précise, à priori. Et d’autre part, l’équipe a travaillé la critérisation des niveaux de satisfaction de ces items, sous forme de degré de maîtrise de chacune des compétences visées. Cet outil d’évaluation facilite le travail des différents enseignants en charge du séminaire et permet d’assurer, au mieux, une certaine homogénéité dans la correction et l’évaluation. De plus, les étudiants peuvent s’en servir comme un outil d’auto-­‐évaluation afin d’améliorer leur portfolio tout au long de son élaboration et jusqu’à sa présentation. Plus qu’un simple outil, le portfolio est une démarche, un dispositif complexe qui nécessite une organisation pédagogique adaptée et un investissement (en temps) conséquent de la part des élèves comme des enseignants. Bibliographie ALLAL Linda et WEGMULLUER Edith. 1998. Le portfolio dans la dynamique de l’entretien tripartite. Mesure et évaluation en éducation. Vol. 20 n°3 pages 5 à 31. BEHRENS Mathis. 1998. Le portfolio, un moyen d’améliorer le dialogue entre formateur et apprenant. Mesure et évaluation en éducation. Vol 20 n°3 pages 55 à 83. DESJARDINS Richard. 2002Le portfolio de Développement Professionnel Continu. Chenelière McGraw-­‐Hill, 108, p. FORGETTE-­‐GIROUS Renée et SIMON Marielle. 1998. L’application du dossier d’apprentissage à l’université. Mesure et évaluation en éducation. Vol 20 n°3 pages 85 à 103. GOUPIL Georgette, LUSSIER-­‐DESROCHERS Dany, BERTHIAUME Caroline, LEGAULT Anik et HENAULT. 2000. Le portfolio : un exemple d’application dans un cours de cycle supérieur. Res Academica Vol. 18 n°1 et 2. McMULLAN Mirjan, ENDACOTT Ruth, GRAY Morag, JASPER Melanie, MILLER Carolyn M.L., SCHOLES Julie et WEBB Christine. 2003. Portfolios and assessment of competence : a review of the literature. PAULSON F. Leon, PAULSON Pearl R et MEYER Carol. 1991. Whar makes a Portfolio a Portfolio ? Educational Leadership PAULSON F. Leon et PAULSON Pearl R. 1994. Assessing Portfolios Using The Constructivist Paradigm. Paper presented at the annual meeting of American educational Research Association, New Orleans, L.A. SCALLON Gerard. 2004. L’évaluation des apprentissages dans une approche par compétences, Ed. De Boeck, coll. Pédagogies en développement, Bruxelles TARDIF Jacques, 2006, L’évaluation des compétences. Ed. Chenelière Education, coll. Chenelière didactique, Montréal Annexe 1 Grille d’évaluation Nom : Présence aux activités 3 L’étudiant est présent à toutes les activités et y participe activement Portfolio 3 Toutes les parties sont identifiées et présentées dans l’ordre prescrit Pas de faute de syntaxe ni Expression écrite d’orthographe. Le vocabulaire est élaboré et varié Introduction complète : Introduction contexte, contenus et moyens Traces et analyse des Trace et analyse réflexive de activités l’activité en regard du métier de l’étudiant FOND FORME Organisation du document Texte intégrateur Synthèse finale Le texte témoigne de l’évolution, des progrès réalisés et de la capacité à porter un regard sur soi-­‐
même 2 L’étudiant est présent à toutes les activités sans y participer activement ou est présent à la moitié des activités en participant activement 1 Classe : 0 /6 /3 L’étudiant est présent à moins L’étudiant n’a aucune de la moitié des activités activité 2 1 0 Toutes les parties sont identifiées mais présentées dans le désordre Jusqu’à 10 fautes d’orthographe et de syntaxe. Le vocabulaire est varié Toutes les parties ne sont pas identifiées mais présentées dans l‘ordre prescrit Jusqu’à 10 fautes d’orthographe et de syntaxe. Le vocabulaire est restreint Les parties ne sont pas identifiées et présentées dans le désordre Au-­‐delà de 10 fautes d’orthographe ou de syntaxe Introduction partielle : contexte et contenus Trace de l’activité et analyse de celle-­‐ci décontextualisée par rapport aux objectifs du séminaire Introduction partielle : contexte Trace de l’activité, sans analyse Absence d’introduction Le texte ne témoigne pas de l’évolution et des progrès réalisés mais il apparaît une capacité à porter un regard sur soi-­‐même Le texte témoigne de l’évolution et des progrès réalisés mais la capacité à porter un regard sur soi-­‐
même n’apparaît pas Le texte ne témoigne pas de l’évolution ni de la capacité à porter un regard sur soi-­‐même Pas de trace de l’activité /30 /3 /3 /3 ppp itv TB MT bib fr /3 /3 /3 /3 /3 /3 /3 Présentation orale 3 2 1 Support Le diaporama de maximum 5 Le diaporama de maximum 5 Le diaporama comprend plus électronique dias répond aux critères qualité dias ne répond pas aux critères de 5 dias 0 Absence de diaporama /24 /3 de qualité Pas de faute de syntaxe ni Jusqu’à 5 fautes d’orthographe Jusqu’à 5 fautes Au-­‐delà de 5 fautes d’orthographe. Le vocabulaire et de syntaxe. Le vocabulaire d’orthographe et de syntaxe. d’orthographe ou de est élaboré et varié est varié FORME Expression écrite Le vocabulaire est restreint /3 syntaxe Expression orale La construction du discours et La construction du discours et La construction du discours et La construction du la diction sont très bonnes la diction sont bonnes la diction sont satisfaisantes discours et la diction /3 sont insatisfaisantes Ouverture au L’étudiant est ouvert au L’étudiant est ouvert au L’étudiant rebondit sur les L’étudiant n’accepte pas dialogue dialogue et rebondit sur les dialogue mais ne rebondit pas critiques mais extériorise les le dialogue et extériorise questions et les commentaires sur les questions et les causes les causes /3 commentaires Présentation / L’étudiant est dynamique. Il L’étudiant regarde et s’adresse L’étudiant ne regarde pas L’étudiant est statique. Il Posture regarde et s’adresse à tous les au groupe et présente une l’ensemble du groupe et ne s’adresse pas à membres du groupe. attitude figée présente une attitude figée l’ensemble du groupe /3 Pertinence des Les informations sont informations Les informations ne permettent Les informations ne Le choix des pertinentes pour comprendre le de comprendre que permettent pas de informations n’est pas fonctionnement de l’étudiant partiellement le comprendre le pertinent et n’est pas en dans le cadre de sa formation fonctionnement de l’étudiant fonctionnement de l’étudiant relation avec la situation dans le cadre de sa formation dans le cadre de sa formation de l’étudiant dans le /3 CONTENUS cadre de sa formation Analyse des Forces et besoins Forces et faiblesses Pas de réflexion et peu Aucune réflexion et apprentissages d’apprentissage présents et partiellement identifiés d’identification des besoins aucune identification des d’apprentissage besoins d’apprentissage identifiés Capacité de La présentation témoigne de La présentation ne témoigne La présentation témoigne de La présentation ne synthèse l’évolution, des progrès réalisés pas de l’évolution et des l’évolution et des progrès témoigne pas de et de la capacité à porter un progrès réalisés mais il apparaît réalisés mais la capacité à l’évolution ni de la regard sur soi-­‐même une capacité à porter un regard porter un regard sur soi-­‐
capacité à porter un sur soi-­‐même même n’apparaît pas regard sur soi-­‐même /3 /3 TOTAL Note finale /60 /20 Apprendre à apprendre ORGANISER COMMUNIQUER ANALYSER S’ENGAGER Organiser un plan de travail Communiquer à l’écrit Analyser des ressources S’engager dans un groupe Organiser un planning Communiquer dans un vocabulaire Analyser une situation S’engager dans un projet Analyser et synthétiser une S’engager dans une démarche Communiquer à l’oral information professionnelle Communiquer devant un groupe Analyser une progression S’engager dans une réflexion Communiquer ses compétences : Analyser son travail : auto-­‐
méta-­‐communiquer évaluation Organiser un document écrit Organiser une communication orale Organiser un travail d’équipe correct personnelle S’engager dans l’E.S.