Evaluation de l`utilisation du portfolio par les internes en médecine
Transcription
Evaluation de l`utilisation du portfolio par les internes en médecine
EVALUATION DE L’UTILISATION DU PORTFOLIO PAR LES INTERNES EN MEDECINE GENERALE D’ANGERS THESE pour le Diplôme d’état de Docteur en médecine, qualification en médecine générale Présentée et soutenue publiquement le 09/06/2011 par Isabelle ACKER née le 28 septembre 1983 à Nantes 1 1,2 1 1,3 ACKER Isabelle , FOUCAT Joël , CAILLIEZ Eric , HUEZ Jean-François , JOLY-GUILLOU Marie4 5 5 Laure , BOUZILLE Guillaume , FANELLO Serge , GARNIER François 1,2 1. Département de médecine générale - UFR médecine Angers - Rue Haute de Reculée 49045 Angers cedex 01 2. Co-directeur de thèse 3. Président du jury de thèse 4. Département de biologie des agents infectieux et pharmaco-toxicologie – 4 rue Larrey CHU Angers 49933 cedex 9 5. Département universitaire de santé publique - 4 rue Larrey CHU Angers 49933 Angers cedex 9 Correspondance : ACKER Isabelle : [email protected] 19 rue de la croix carrée 35700 RENNES, 0674958657 Mots clés : portfolio, tutorat, évaluation, compétences RESUME Contexte - Le portfolio est un outil d’évaluation reconnu du parcours des internes en médecine générale. Articulé autour des activités d’apprentissage, d’enseignement et d’évaluation, il permet l’acquisition d’une démarche réflexive et une évaluation formative. Il utilise la rétroaction à travers le tutorat et l’analyse des Récits de Situation Complexe Authentique (RSCA). Objectifs – Réaliser un premier bilan de l’utilisation du portfolio par les internes en médecine générale d’Angers ayant bénéficié de cet outil tout au long de leur formation. Optimiser l’utilisation future du portfolio. Méthode - Un questionnaire d’évaluation, dont les items ont été ciblés par un focus group, a été soumis à tous les internes angevins inscrits en troisième année de DES de médecine générale pour l’année universitaire 2009-2010. Résultats - La majorité reconnaît l’intérêt du portfolio dans l’analyse des pratiques professionnelles. Le nouveau rôle actif de l’apprenant est bien intégré mais reste dépendant de la qualité de la relation avec le tuteur. Le frein principal à la constitution du portfolio est le manque de temps. La crainte de s’exposer à travers les RSCA est également évoquée. Conclusion - Une utilisation optimale du portfolio nécessite l’investissement réciproque de la part de l’interne et du tuteur tout au long du cursus. La présentation de cet outil par un interne pourrait faciliter l’adhésion. La réticence à l’écriture nécessite un traitement pédagogique. Une proposition innovante du Département de Médecine Générale serait de proposer un soutien individuel aux étudiants en difficulté. ABSTRACT Background – The portfolio is a recognized tool for general practice internship evaluation. It is centred on learning activities, teaching and assessment, and allows the acquisition of a reflective approach and a formative evaluation. It involves feedback through educational tutoring and analysis of Clinical Complex and Authentic Situations (CCAS). Objectives – Making an initial assessment of the utilisation of portfolio by interns used to it from the beginning of their training in the Faculty of Angers. Optimizing future use of portfolio. Method - A questionnaire evaluation, including items previously selected by a focus group, was submitted to interns registered in third year of general practice for the academic year 2009-2010. Results - The majority recognizes the value of portfolio in analysis of professional practices. The new active role of the learner is well integrated but still dependent on quality of the relationship with tutor. The main obstacle to portfolio constitution is the lack of time. The fear of exposure through CCAS is also mentioned. Conclusion - An optimal use of a portfolio requires reciprocal investment of intern and tutor throughout the curriculum. Presentation by an intern should make assimilation easier. The reluctance to writing needs educational treatment. An innovative proposal of General Practice Department would offer individual support to students in difficulty. INTRODUCTION Le portfolio est un outil d’évaluation reconnu du parcours des internes en médecine générale (1-3). Il est défini comme une collection organisée, authentique et évolutive de matériel permettant d’obtenir des informations sur les compétences développées par un étudiant (4-5). Articulé autour des activités d’apprentissage, d’enseignement et d’évaluation, il intègre parfaitement le modèle constructiviste centré sur une démarche réflexive et une évaluation formative (6). Il implique la rétroaction grâce au tutorat et l’analyse de « situations-problèmes »(1,6). Le concept de feedback (ou rétro action) est caractérisé par la notion de boucle courte dans laquelle se succèdent l’action, l’observation, l’interprétation et la re-direction, permettant à l’étudiant d’améliorer ses compétences cliniques dans un cycle continu « d’essais-erreurs » (7). Le Diplôme d’Etudes Spécialisées (DES) de médecine générale est officiellement mis en place depuis 2004 (8-10). Sa mission donne un nouveau rôle aux internes : ils deviennent acteurs de leur formation (11). On bascule ainsi du paradigme d’enseignement vers le paradigme d’apprentissage (1). Désormais l’enseignement est basé sur l’acquisition de compétences et non sur une simple transmission de savoirs (2). Les traces d’apprentissage de ces compétences constituent l’élément-clé du portfolio et sont majoritairement représentées par les Récits de Situation Complexe Authentique (RSCA). Les RSCA utilisent l’écriture pour favoriser l’acquisition d’une pensée réflexive avec une prise de recul sur des situations qui posent problème à l’interne (12). Cependant le portfolio n’est pas toujours perçu par les étudiants comme une aide à l’analyse de leurs pratiques professionnelles (3). Le nouveau rôle actif de l’apprenant dans la collecte des traces d’apprentissage peut s’avérer déstabilisant et nécessite un accompagnement tout au long du cursus (13). Le tutorat entre l’interne et le médecin généraliste prend ici toute sa valeur : il permet l’acquisition d’une pratique réflexive en guidant l’étudiant vers l’autonomie grâce à une rétroaction et une supervision indirecte (3). Le tuteur suit l’interne tout au long de son cursus. Cette évaluation dynamique est à visée diagnostique (qualité des apprentissages) et surtout pronostique (acquisition de compétences suffisantes conditionnant le droit d’exercer) (2). L’obtention du DES de médecine générale, ou certification finale, nécessite la validation du portfolio grâce à l’avis argumenté du tuteur et la validation des stages et de l’enseignement théorique. Le portfolio est équivalent au mémoire de DES de médecine générale. Son niveau d’exigence selon les années est défini par le Département de Médecine Générale (DMG) dans le livret de l’interne (annexe 1). Les internes validant leur troisième année de DES de médecine générale à la faculté d’Angers en 2010 constituent la première promotion à avoir utilisé le portfolio électronique dès le début de leur formation. L’objectif de cette étude est de réaliser un premier bilan de leur utilisation du portfolio afin d’optimiser l’utilisation future de cet outil. Ce travail s’inscrit dans une démarche-qualité d’évaluation des outils pédagogiques. MATERIEL ET METHODES ▪ Des entretiens conformes à la méthodologie du focus group (14,15) ont été réalisés avec un groupe de 7 internes inscrits en troisième année de DES en 2009-2010, sélectionnés sur la base du volontariat. Une notice d’information garantissant l’anonymat des données a été donnée et expliquée aux participants, avec obtention de leur consentement écrit et signé. Le focus group a été réuni lors de deux séances de 2h en juin et juillet 2010. Le guide d’entretien (annexe 2), élaboré par l’interne auteur de la thèse avec un enseignant du DMG et un médecin généraliste tuteur, a été validé auprès d’enseignants du département de médecine générale. La première réunion a abordé le contenu des réunions de tutorat et l’appropriation de l’outil portfolio par les internes. La deuxième, l’évolution de la pensée au cours du cursus et les traces d’apprentissage écrites. Le groupe était animé par un modérateur. Un observateur notait les éléments de communication non verbale. Ces séances réalisées à la faculté de médecine d’Angers ont été intégralement enregistrées par une méthode audio et vidéo. Le contenu du focus group a été analysé après une phase de transcription intégrale, avec individualisation des paroles de chaque intervenant (verbatim) et des commentaires du modérateur. Cette analyse thématique de contenu a été effectuée par l’interne. Le travail d’identification des verbatim et de catégorisation en thèmes plus globaux a été réalisé avec le logiciel ® Microsoft Word . Les enregistrements vidéo des deux séances de focus group ont ensuite été visionnés par la même interne et le modérateur du focus group en présence d’une psychologue et d’une tierce personne neutre. ▪ Un questionnaire anonyme (annexe 3), dont les items ont été ciblés grâce au focus group, a ensuite été proposé à tous les internes angevins inscrits en 3 ème année de DES de médecine générale pour l’année universitaire 2009-2010, soit un total de 72 internes (56 femmes et 16 hommes). Cette enquête incluait les internes ayant effectué un semestre en surnombre ou pris 6 mois de disponibilité. Elle excluait les internes ayant débuté leur DES de médecine générale dans une autre faculté ou ayant intégré le DES de médecine générale en milieu de cursus, suite à un droit au remords. Les critères d’exclusion ont permis d’interroger seuls les internes formés à l’utilisation du portfolio dès le premier semestre. Cette période correspondait aux jurys de validation de 72% de la promotion 2010. Après un test de faisabilité, le questionnaire a été envoyé par voie électronique en novembre 2010. Des relances ont été effectuées tous les quinze jours de mi-novembre à fin janvier 2011. La saisie des ® données a été effectuée par l’interne. L’analyse statistique a été réalisée avec les logiciels Excel , ® ® Epidata et Epidata Analysis par l’interne, un enseignant du DMG et le Département Universitaire de Santé Publique d’Angers. Le test du Khi-deux a été utilisé pour la comparaison des données qualitatives au seuil de 0,05. RESULTATS FOCUS GROUP Parmi les participants, cinq souhaitaient exercer la médecine générale, deux étaient parallèlement inscrits à un DESC (Diplôme d’Etudes Spécialisées Complémentaires) pour un exercice hospitalier futur. ▪ CONTENU DES REUNIONS DE TUTORAT. Une description précise de l’organisation et du contenu des réunions de tutorat a été demandée à chaque interne. La fréquence moyenne était d’une réunion par semestre. La contrainte géographique et le manque de temps étaient les freins principalement évoqués : « il y avait une histoire d’emploi du temps, de disponibilité ». Les internes ont également exprimé un manque d’intérêt et une gêne par rapport au service hospitalier lorsqu’ils devaient s’absenter : « à chaque fois qu’il y a une absence en stage, on se sent coupable de partir ». Cependant l’exigence de réunion formulée par le DMG a entretenu l’intérêt pour le portfolio : « le fait d’avoir une date butoir joue dans la motivation ». Un délai de plusieurs mois entre les réunions paraissait nécessaire pour obtenir une réflexion suffisante sur les RSCA : « si c’est trop rapproché, on n’a pas le temps de s’y plonger, on préférait laisser passer 3-4 mois entre chaque séance ». Il était intéressant de réunir plusieurs internes avec le même tuteur pour permettre un partage des expériences et des difficultés. Le tuteur était considéré comme une personne ressource, il conseillait sur le parcours de DES et établissait le lien avec la faculté en tant que référent : « ça permet d’avoir un référent direct à appeler en cas de problème », « un médecin rattaché au DMG, avec qui on peut discuter ». La réunion était souvent focalisée sur les RSCA et délaissait la vie médicale ou le projet de thèse : « on n’a que le côté « cas clinique » dans nos réunions », « on n’a même pas parlé de ma thèse », « il n’y a pas de prise en compte de savoir comment se passent nos études, quels sont nos projets ». Mais ces réunions constituaient tout de même un lieu de discussion libre : « c’est un lieu où l’on peut parler de soi sans avoir peur du jugement ». Le contact humain avec le tuteur a été évoqué. Le portfolio était parfois utilisé comme interface de discussion avec le tuteur : « une fois, on a annulé une réunion, du coup il a commenté nos cas cliniques directement par (le module) discussion. (…) J’ai trouvé ça intéressant. On n’en parle pas forcément de la même manière qu’en réunion ». ▪ APPROPRIATION DE L’OUTIL PORTFOLIO. Les internes ont exprimé leur vécu de la présentation du portfolio faite en début d’internat. La première remarque concernait le manque d’autonomisation. Le portfolio a été vécu au début comme « un enfantillage, une régression ». Une interne n’a pas vu l’intérêt de cet outil car elle ne ressentait pas le besoin de supervision : « personnellement je ne suis pas quelqu’un qui fonctionne avec le besoin de contrôle. Je peux travailler en autonomie. » Ils ont mis en avant le côté scolaire : « j’ai pris cela comme un travail à faire, obligatoire, scolaire, avec des cases à cocher sur ce qu’on avait fait en stage ». Le portfolio était considéré comme un outil d’évaluation et de certification finale pour la faculté. Il a été comparé au mémoire de spécialité : « après j’ai bien compris que c’était un moyen pour la fac de nous évaluer, surtout s’il n’y avait pas de mémoire ». Des internes ont exprimé la difficulté de gérer à la fois la thèse et le portfolio : « je me suis rendue compte que quand j’avançais sur ma thèse, je n’avançais plus sur le portfolio ». Ils ont évoqué la nécessité des deux demi-journées hebdomadaires théoriquement réservées au travail facultaire. Des aides à la constitution du portfolio ont été citées comme le livret de l’interne et la formation à la recherche sur internet. Le portfolio a pu stimuler la recherche documentaire. Les internes ont bien intégré leur rôle actif dans l’utilisation du portfolio : « ça te responsabilise », « on se construit vraiment dans ce qu’on va être plus tard en tant que médecin ». ▪ EVOLUTION DE LA PENSEE AU COURS DU CURSUS. La réflexion et l’autoévaluation ont progressé au cours de l’internat, comme l’évolution vers une prise en charge globale du patient. Des éléments permettant ce cheminement ont été cités : « l’acquisition de connaissances médicales permet de libérer un peu de champ d’action », « la rencontre avec le patient », « avec les généralistes », « l’enseignement (…) ouvre des portes sur certaines choses », « les stages », « le groupe Balint, j’ai eu l’impression de découvrir comment prendre les consultations autrement ». Une remarque sur les grilles d’autoévaluation a été faite : il serait nécessaire d’ajouter un item supplémentaire « capable » qui validerait la maîtrise de la compétence [items actuels : « ne sait pas », « lu », « vu », « fait »]. Un manque de retour sur les grilles a aussi été évoqué. La constitution du portfolio a permis l’acquisition d’une méthode de travail : « face à une situation compliquée, on se renseigne, on sait où aller chercher. Méthode de réflexion, savoir qu’est-ce qui a posé problème dans cette situation-là ? Est-ce notre vécu, ou la relation avec ce patient ? Est-ce à cause d’un manque de connaissance ? » Les internes ont découvert la complexité de l’exercice de la profession : « on apprend qu’il y a plusieurs réponses à une question. (…) Il y a plein de nuances auxquelles on n’avait pas pensé avant ». L’intérêt pour le portfolio a augmenté pour certains au cours du DES : « je pense avoir acquis avec le temps une maturité clinique qui fait me rendre compte à quoi ça sert ». La pratique de la médecine a également été modifiée au cours du cursus avec l’apprentissage de la responsabilité, l’augmentation de la confiance en soi et la maîtrise des situations d’urgence : « c’est plus structuré dans mon esprit, je panique un peu moins ». L’aspect social était mieux appréhendé par les internes en fin de cursus : « la prévention, le dépistage, la souffrance que je peux ressentir chez les gens, c’est plus facile maintenant ». ▪ TRACES D’APPRENTISSAGE ECRITES. De nombreux points positifs à propos des RSCA ont été développés. Une interne a qualifié l’écriture des RSCA d’outil intelligent : « c’est le principe de partir de ce qui a posé problème à l’interne que je trouve très intelligent. (…) En plus on a la possibilité d’avoir un retour avec le tuteur ». Une autre interne a vécu l’écriture comme « une sorte de débriefing » qui aide à digérer des situations difficiles. Un délai court entre la situation vécue et son écriture aidait à garder la spontanéité et voir ensuite l’évolution. Les situations les plus riches ont souvent été vécues en stage ambulatoire. Le portfolio a été perçu comme un outil personnel : « c’est quand même très bien fait parce que c’est uniquement sur nous. ». L’écriture des cas cliniques a évolué au cours de l’internat : « au début on manque de connaissance dans certaines choses médicales, du coup ça nous paraît complexe. Au début du portfolio on n’imagine pas tout ce côté relationnel à retranscrire. On s’en rend compte au fur et à mesure ». L’abord éthique a été formalisé grâce au tutorat. L’authenticité des RSCA a également été abordée. Les internes ont préféré écrire moins de cas cliniques réellement vécus plutôt que d’en inventer. La réticence à l’écriture existe. Les internes ont mis l’accent sur la pression engendrée par la présentation d’un RSCA idéal en début de DES. Des propositions pour améliorer ce point ont été faites : « que chacun puisse avoir accès un jour sur le site du DMG à des exemples », « faire présenter le portfolio par un interne ». Certains internes préféraient le récit oral avec les groupes de parole ou leurs amis. Ils ont exprimé la difficulté de vivre à nouveau la situation lors de l’écriture du RSCA : « je vais arriver chez moi, je vais peut-être même commencer par parler des cas cliniques complexes que j’ai rencontrés dans la journée avec mon ami. (…) On décharge plein de choses, on fait déjà un certain travail. Une fois qu’on ferme la porte, on n’a pas envie de se reposer dans le portfolio ». Le manque de temps et l’accès à internet étaient des contraintes. Il y a souvent eu une perte d’informations en cas d’écriture à distance de la situation. Les internes ont avoué la difficulté à se remettre en cause à travers les RSCA : « Il faut accepter d’aller se livrer en fait. C’est pour cela que c’est difficile, que ça prend de l’énergie et qu’on ne peut pas le faire en 5 minutes », « ça peut créer une difficulté de parler de soi, et (…) de ses doutes ». L’intérêt des RSCA a été reconnu à plusieurs niveaux : pour la certification finale et « laisser une trace pour la validation du DES », mais aussi sur le plan personnel, « c’est un moyen de réflexion, (…) se poser des questions, pouvoir y réfléchir après, (…) et avoir un regard extérieur qui est celui du tuteur ». ▪ ANALYSE COMPORTEMENTALE. Le visionnage des enregistrements a permis de visualiser le comportement des participants au cours des deux séances de focus group. Initialement chacun comparait sa réponse à celle des autres, les visages étaient plutôt fermés et les regards se croisaient pour chercher une approbation éventuelle. Les internes étaient plus à l’aise en fin de première séance et lors de la deuxième réunion. Les pensées exprimées étaient de plus en plus personnelles. QUESTIONNAIRE ▪ Le taux de réponse au questionnaire était de 72% avec 52 réponses (43 femmes et 9 hommes) sur 72 attendues. L’échantillon était représentatif selon le sexe (p=0,50). La moyenne d’âge est de 28 ± 1,05 an, avec un minimum de 27 ans et un maximum de 33 ans. Trente-huit internes étaient en 6 semestre et 14 en 5 ème ème semestre ou disponibilité pour la période de mai à octobre 2010. Quarante internes (77%) ont exprimé le souhait d’exercer en médecine générale ambulatoire (type libéral ou salariat) et l’inscription à un DESC n’était pas discriminante dans le choix d’une carrière hospitalière (Tableau 1). Soixante-cinq pour cent des internes considéraient le tuteur comme une personne ressource et parmi eux, 41% estimaient que le tutorat était une aide dans leur parcours et utilisaient le portfolio comme interface de discussion avec le tuteur (Tableau 2). Ces éléments n’ont été d’aucune aide pour 4 internes (8%). Vingt-cinq internes (48%) ont organisé deux réunions de tutorat par semestre. Vingt-trois (44%) ont rencontré leur tuteur une seule fois par semestre et 4 (8%) ne l’ont pas rencontré. Le manque de temps est la première contrainte exprimée par 19 internes (36,5%) devant le manque de motivation et l’éloignement géographique (Tableau 3). ▪ L’apprenant avait un rôle actif dans sa formation pour 44 internes (85%). Ce n’était pas déstabilisant pour 39 d’entre eux (89%). Sur ces 44 étudiants, 31 (60%) ont utilisé le livret de l’interne dès le premier semestre et 9 (17%) plus tard. Le remplissage des grilles d’autoévaluation a été effectué par 37 internes (71%). 3 internes (6%) ont eu un rôle passif et n’ont jamais utilisé le livret de l’interne ni les grilles d’autoévaluation. Cinquante pour cent des internes interrogés a eu un intérêt croissant pour le tutorat et seulement 18 internes (35%) pour le portfolio. L’augmentation de l’intérêt pour le tutorat a été favorisée principalement par les rencontres avec le tuteur (42%) et le stage praticien (13,5%). Les mêmes éléments ont augmenté l’intérêt pour le portfolio (Tableau 4). ▪ L’écriture des RSCA a été facile dès le début de l’internat pour 8 étudiants (15%) ou a été progressivement facilitée pour 23 (44%). Cet exercice est resté difficile pour 21 internes (40%) et la principale explication était le manque de temps (33%) devant la difficulté d’être objectif (11,5%) (Tableau 5). Certains internes ont exprimé librement d’autres raisons comme le manque de commentaires du tuteur. La mesure de l’intérêt des RSCA dans l’évolution de la démarche médicale a été notée par les internes en fin de questionnaire sur une échelle de 0 à 9 (Figure 1). Vingt-sept internes (52%) ont attribué une note supérieure ou égale à 5. La qualité des commentaires du tuteur sur les RSCA a obtenu une meilleure appréciation car 33 internes (63%) ont attribué une note supérieure ou égale à 5, avec un maximum de réponses pour la note de 7/9. La progression de l’interne grâce à ces commentaires a obtenu 29 notes (56%) au-dessus de 5 avec un maximum de réponses pour la note de 6/9. DISCUSSION METHODOLOGIE ▪ Le focus group permet d’identifier les thèmes représentatifs du vécu des internes vis-à-vis du portfolio. La constitution du focus group ne nécessite pas une représentativité de la promotion, ici les participants expriment des avis différents sur le portfolio et présentent des parcours variés (DESC ou non, souhait d’exercer en ambulatoire ou en structure hospitalière). On confirme l’intérêt du focus group, par lequel s’expriment plusieurs modes de pensée (15). La nature exploratoire de ce travail ne permet pas de saturer les données. La subjectivité est non négligeable car les réponses des internes sont influencées par la relation avec leur propre tuteur. On peut poser la question de la neutralité de l’animation du focus group, faite par un enseignant généraliste tuteur. Mais il paraît intéressant de modérer les séances par une personne maîtrisant bien l’outil portfolio et le tutorat. Le visionnage a posteriori des enregistrements vidéo du focus group avec des personnes neutres limite les erreurs d’interprétation. La présence d’une psychologue permet d’analyser plus finement les interactions entre les participants et aussi le langage non verbal. ▪ La méthode du questionnaire tend vers l’exhaustivité. Ses items étaient anticipés par l’interne et les enseignants du DMG mais la réunion préalable d’un focus group permet de les confirmer et légitimer. Le taux de réponse au questionnaire est de 72% contre 59% en moyenne pour trois promotions d’internes en médecine générale étudiées à Lille (16) et 14% sur la totalité des étudiants inscrits en DES de médecine générale à Saint-Etienne en 2007-2008 (17). Ce meilleur taux peut s’expliquer par les relances et par l’adhésion des internes angevins au principe d’évaluation de cette étude, qui donne la possibilité de s’exprimer sur le portfolio. FOCUS GROUP ▪ Dans un premier temps, la discussion permet d’analyser la relation « tuteur-tutoré ». Le parcours professionnel se construit autour de multiples intervenants (1) : tuteur, enseignants du DMG, maîtres de stage, co-internes, amis. Les réunions de tutorat, parfois qualifiées de rébarbatives par leur côté obligatoire, restent avant tout un lieu de partage et de mise au point. La progression des internes est un principe fondamental de l’évaluation formative. Les commentaires du tuteur sont une motivation mais la qualité du suivi relève également de l’initiative de l’étudiant (18). L’investissement doit donc aller dans les deux sens (3,13). ▪ Dans un deuxième temps, le focus group questionne l’intégration du portfolio dans le parcours de DES. Cet outil possède plusieurs niveaux de lecture : c’est un élément de certification finale institutionnelle, mais c’est aussi un outil personnel d’évaluation des pratiques. Le portfolio est particulièrement approprié pour les internes qui ont un réel besoin de supervision. L’information reçue sur cet outil en début de DES est souvent vécue comme scolaire. La présentation par un interne pourrait faciliter l’adhésion. Les aides comme le livret de l’interne et les grilles d’autoévaluation se révèlent utiles mais nécessitent le feedback du tuteur pour être réellement contributives. Les échanges du focus group confirment le rôle du portfolio dans la validation des compétences à visée diagnostique (évaluation des compétences) et surtout pronostique (apprentissage des responsabilités, réflexion sur les pratiques professionnelles nécessaire à l’exercice futur) (2). ▪ Dans un troisième temps on constate l’évolution du schéma de pensée avec l’acquisition d’une pensée réflexive et l’apprentissage d’une méthode de travail : on part d’un problème concret posé à l’interne puis on analyse les difficultés avec autoévaluation et recherches scientifiques (12). Le tutorat et le portfolio permettent donc d’apprendre à évaluer ses pratiques, chercher des informations, identifier des personnes ressources et créer un réseau. ▪ La quatrième thématique concerne les RSCA. Leur rédaction est facilitée par l’acquisition d’une maturité clinique. Au début les cas sont centrés autour du biomédical, ils paraissent complexes à cause d’un manque de connaissances et/ou de pratique. Progressivement les internes incluent leur cheminement éthique car ils découvrent tous les aspects de la relation médecin-patient et la richesse de la rencontre de l’autre. L’augmentation de la complexité des RSCA va de pair avec la progression vers une prise en charge plus globale du patient, combinant les aspects psychologique, social et biomédical. Les éléments permettant cette évolution doivent être encouragés pendant le cursus : la rencontre avec le tuteur, les généralistes, les modules d’enseignement, la participation à des groupes Balint. Mais de nombreux freins à l’écriture persistent dont le manque de temps (3), surtout en dernière année avec le travail de thèse concomitant. Existe aussi le problème de la situation parfaite présentée en début de cursus. Etant dans un système d’études très scolaire jusqu’en 3 ème cycle, les internes veulent reproduire un tel RSCA immédiatement et dénigrent leurs premières écritures. Mais tous ces arguments semblent être de fausses excuses car la réelle difficulté est de parler de soi et de ses moments de doute. Se livrer impose de ne plus être dans la toute-puissance. Il existe alors un décalage par rapport à la position dans laquelle les étudiants en médecine sont souvent bercés : relation verticale où le médecin possède le savoir. La rencontre avec le DMG dès le deuxième cycle peut apporter un regard plus critique sur la profession, car la relation avec le patient en ambulatoire est plus horizontale et apprend l’humilité. ▪ La dynamique du focus group permet un réel échange et une écoute attentive des différents points de vue. L’analyse des comportements corrobore les résultats précédents. On observe d’abord une phase sur un mode défensif où chacun exprime les aspects négatifs du tutorat et du portfolio. Puis les participants apprennent à se connaître et peuvent verbaliser des choses plus intimes. On note alors une évolution vers l’approbation de ces outils pédagogiques avec la libération de la parole des internes. Le focus group leur accorde un temps de réflexion inédit sur leur véritable utilisation du portfolio. Cela permet une prise de conscience sur les apports du tutorat et du portfolio : la démarche réflexive implique un effort continu de la part de l’interne mais les bénéfices pour la pratique professionnelle sont finalement reconnus. QUESTIONNAIRE ▪ La grande majorité des internes interrogés souhaite exercer en médecine générale ambulatoire, ce qui est rassurant dans le contexte de démographie médicale actuelle. Les non répondeurs sont principalement des hommes avec un taux de réponses de 56% contre 77% chez les femmes. On peut émettre l’hypothèse que les internes en difficulté avec le tutorat ont moins répondu. A peine la moitié (48%) des internes interrogés satisfait les exigences de réunion de tutorat (2 réunions par semestre). Parmi eux, une minorité (15%) considère que le tutorat est une aide et utilise le portfolio comme interface de discussion avec le tuteur. Les étudiants satisfont-ils les objectifs du portfolio dans un but unique de validation du DES ? Cela confirme l’importance de la présentation du portfolio en début de cursus pour une utilisation plus profitable aux internes (3). Quarante pour cent des étudiants voient leur tuteur une fois par semestre et la contrainte principalement évoquée est le manque de temps. La distance géographique entre le terrain de stage de l’interne et le lieu d’exercice du tuteur est évoquée au même titre que le manque de motivation. Ce problème géographique est difficile à résoudre car à chaque semestre l’interne peut aller exercer dans un hôpital périphérique dans trois départements différents. Il faut donc favoriser l’adhésion au portfolio à travers les rencontres avec le tuteur, qu’elles soient physiques, téléphoniques ou par internet. Les problèmes d’entente avec le tuteur sont rares et sont constatés par les internes n’ayant pas eu de réunions de tutorat régulières. On retrouve un chiffre similaire dans l’estimation du rôle passif dans l’apprentissage, avec l’absence d’utilisation d’aides comme le livret de l’interne ou les grilles d’autoévaluation. Ce résultat fait suspecter des difficultés professionnelles chez ces internes. Il paraît nécessaire de les identifier le plus précocement possible pour éviter un isolement lors de l’exercice futur. L’évaluation du tutorat par les internes semble liée à la qualité des tuteurs mais ceux-ci ne forment pas un groupe homogène, d’où l’importance de leur formation pour améliorer l’accompagnement des étudiants (3). ▪ La quasi-totalité des internes estime avoir un rôle actif dans leur formation. Ce nouveau rôle n’est pas déstabilisant. Il est apprécié car il concrétise l’autonomisation de l’étudiant. Les internes apprennent à s’auto évaluer et à connaître les sources d’information pertinentes. L’écriture des RSCA devient plus aisée au long du cursus pour la moitié des internes interrogés. La seconde moitié exprime principalement la contrainte de temps déjà identifiée dans la littérature (3,13,19). Cette enquête rappelle des réticences plus intimes comme la crainte de s’exposer et la difficulté d’être objectif. L’interne doit mettre à plat des situations pour se remettre en question et progresser. C’est un exercice nouveau et demande une capacité d’auto-analyse importante (1). Ce mode de réflexion doit être encouragé dès le second cycle à travers les stages hospitaliers et les séances d’enseignement pour une meilleure intégration du paradigme d’apprentissage (2,18) nécessaire à l’exercice de la médecine. La difficulté de rédaction des RSCA, l’absence d’intérêt pour le portfolio et le manque de retour du tuteur sont des marqueurs d’inquiétude. La résistance d'un interne à l'écriture dans le portfolio nécessite d'être interrogée. Plusieurs hypothèses sont possibles: un problème de communication avec le tuteur, une crainte de s'exposer au regard de l'autre. Cette dernière éventualité nécessite un traitement pédagogique. Une proposition innovante du DMG serait de proposer un soutien individuel aux internes en difficulté. CONCLUSION Cette étude fait un premier bilan de l’utilisation du portfolio par une promotion d’internes en médecine générale d’Angers. La majorité reconnaît l’intérêt de cet outil pédagogique mais l’adhésion reste dépendante de la relation interne-tuteur. La formation homogène des tuteurs est primordiale. Le nouveau rôle actif des internes dans leur formation n’est pas déstabilisant car il permet l’acquisition d’une autonomie et d’une pensée réflexive nécessaire à la pratique de la médecine générale. Le manque de temps est un frein non négligeable à la constitution du portfolio. Le processus d’intégration du portfolio doit donc être accéléré en première année pour augmenter les interactions potentielles entre l’interne et son tuteur. La présentation par un interne pourrait faciliter l’adhésion. La résistance à l'écriture dans le portfolio nécessite un traitement pédagogique. Une proposition innovante du DMG serait de proposer un soutien individuel aux internes en difficulté. Pour une vision plus globale de l’utilisation du portfolio, il serait intéressant d’élargir cette étude auprès d’enseignants du DMG, de médecins tuteurs et d’internes de chaque année de DES, et d’appliquer ce schéma dans d’autres DMG de France. REFERENCES 1. Jouquan J, Bail P. A quoi s’engage-t-on en basculant du paradigme d’enseignement vers le paradigme d’apprentissage ? Exemple d’une révision curriculaire conduite en résidanat de médecine générale. Pédagogie Médicale 2003;4:163-175. 2. Le Mauff P, Bail P, Gargot F et al. L’évaluation des compétences des internes de médecine générale : aspects théoriques, réflexions pratiques. Exercer 2005;73:63-9. 3. Bail P, Le Reste JY, Boiteux F. Le portfolio. Expérience du département de médecine générale de la faculté de Brest. Revue du Praticien Médecine Générale 2004;646:445-7. 4. Challis M. Portfolio-based learning and assessment in médical éducation. Med Teach 1999;21:37086. 5. Paulson FL, Paulson PR, Meyer CA. What makes a portfolio a portfolio ? Educ Leadership 1991 ;48(5) :60-3. 6. Tardif J. L’évaluation dans le paradigme constructiviste. In : Hivon R. L’évaluation des apprentissages : réflexions, nouvelles tendances et formation. Université de Sherbrooke : Editions du CRP 1993:27-56. 7. O’Brien HV, Marks MB, Charlin B. Le feedback (ou rétro-action) : un élément essentiel de l’intervention pédagogique en milieu clinique. Pédagogie Médicale 2003;4:184-191. 8. Journal Officiel. Décret n°2004-67 du 16 janvier 2004 relatif à l’organisation du troisième cycle des études médicales. 9. Journal Officiel. Arrêté du 22 septembre 2004 relatif à l’organisation, au déroulement et à la validation des stages des étudiants en troisième cycle des études médicales appelés internes ou résidents. JO du 14 octobre 2004. 10. Ministère de l’Education Nationale, de l’Enseignement Supérieur et de la Recherche. Liste et réglementation des diplômes d’études spécialisées de médecine. Bulletin officiel n°39 du 28 octobre 2004. 11. Le Mauff P, Pottier P, Goronflot L, Barrier J. Evaluation d’un dispositif expérimental d’évaluation certificative des étudiants en fin de troisième cycle de médecine générale. Pédagogie médicale 2006;7 :142-54. 12. Bail P, Le Mauff P. Comment réussir une évaluation formative des compétences des internes en étant centré sur leur processus cognitifs d’apprentissage ? Exercer 2008;83:104-10. 13. Ross S, Maclachlan A, Cleland J. Students’ attitude towards the introduction of a Personal and Professional Development portfolio : potential barriers and facilitators. BMC Medical Education 2009,9:69. 14. Falissard B. Mesurer la subjectivité en santé. Perspective méthodologique et statistique. 2è édition. Elsevier Masson 2008 15. Moreau A, Dedianne MC, Letrilliart L et al. S’approprier la méthode du focus group. Revue du Praticien Médecine Générale 2004;645:382-4. 16. Lerustre S, Duriez S, Lerouge P, Andregnette P. Tutorat au cours du 3ème cycle de médecine générale à la faculté de médecine de Lille. Exercer 2008;82 :82-6. 17. Peyrard J, Feuillet J. Mise en place d’un portfolio électronique à Saint-Etienne. Contact : [email protected] 18. Quels sont les difficultés et les bénéfices du RSCA perçus par les internes inscrits en DES de Médecine Générale à la faculté de Tours au cours du seconde semestre de l’année universitaire 2008-2009 ? Chalons B. Service Commun de Documentation, thèse de l’université de Tours 2011. 19. Naccache N, Samson L, Jouquan J. Le portfolio en éducation des sciences de la santé : un outil d’apprentissage, de développement professionnel et d’évaluation. Pédagogie médicale 2006;7 :11027. TABLEAUX ET FIGURES Tableau 1. Type d’exercice professionnel souhaité selon le sexe et l’inscription à un DESC éventuel FEMMES HOMMES Pas de DESC Exercice hors MG Exercice MG libéral 0 DESC TOTAL 4 (9%) 4 (9%) Pas de DESC TOTAL 0 1 (11%) 1 (11%) 7 (78%) 1 (11%) 8 (89%) 7 (78%) 2 (22%) 9 (100%) DESC Exercice hors MG Exercice 28 (65%) 3 (7%) 31 (72%) MG libéral Exercice MG 2 (4,5%) 2 (4,5%) 4 (9%) 1 (2,5%) 0 1 (2,5%) 3 (7%) 0 3 (7%) 34 (79%) 9 (20,5%) 43 (100%) hospitalier Exercice MG salarié Exercice MG indéfini TOTAL TOTAL Tableau 2. Nombre de réunions de tutorat par semestre selon l’appréciation du tutorat par l’interne et l’utilisation du portfolio comme interface de discussion avec le tuteur TUTEUR = PERSONNE RESSOURCE Nombre de réunions de tutorat par semestre Tutorat 1 2 Total 1 (3%) 1 (3%) 2 (6%) 0 1 (3%) 1 (3%) Non interface 6 (17,5%) 11 (32,5%) 17 (50%) Interface 6 (17,5%) 8 (23,5%) 14 (41%) Total aide 12 (35%) 19 (56%) 31 (91%) TOTAL 13 (38%) 21 (62%) 34 (100%) Pas d'aide Portfolio Non interface Interface Aide TUTEUR ≠ PERSONNE RESSOURCE Nombre de réunions de tutorat par semestre Tutorat Pas d'aide Portfolio Pas d'interface Interface Aide TOTAL 0 1 2 Total 4 (22%) 4 (22%) 1 (5,5%) 9 (50%) 0 2 (11%) 2 (11%) 4 (22%) 0 4 (22%) 1 (5,5%) 5 (27,5%) 4 (22%) 10 (55%) 4 (22%) 18 (100%) Tableau 3. Contraintes expliquant le nombre de réunions de tutorat inférieur à 2 par semestre Nombre d’internes % (IC 95%) Manque de temps 19 36,5 (24,8-50,1) Contrainte géographique 13 25,0 (15,2-38,2) Manque de motivation 14 26,9 (16,8-40,3) Autre 5 9,6 (4,2-20,6) Tableau 4. Aides à l’augmentation de l’intérêt pour le portfolio et le tutorat PORTFOLIO Nombre d’internes % (IC 95%) Rencontres avec le tuteur 14 26,9 (16,8-40,3) Stage praticien 11 21,2 (12,2-34,0) Module d’enseignement 3 5,8 (2,0-15,6) Discussion avec co-internes 6 11,5 (5,4-23,0) Groupe d’échange de pratiques 6 11,5 (5,4-23,0) Stage hospitalier 2 3,8 (1,1-13,0) Autre(s) 4 7,7 (3,0-18,2) Nombre d’internes % (IC 95%) Rencontres avec le tuteur 22 42,3 (29,9-55,8) Stage praticien 7 13,5 (6,7-25,3) Module d’enseignement 1 1,9 (0,3-10,1) Discussion avec co-internes 6 11,5 (5,4-23,0) Groupe d’échange de pratiques 6 11,5 (5,4-23,0) Autre(s) 3 5,8 (2,0-15,6) TUTORAT Tableau 5. Raisons expliquant la difficulté permanente de l’écriture des RSCA Nombre d’internes % (IC 95%) Crainte de s’exposer 4 7,7 (3,0-18,2) Manque de temps 17 32,7 (21,5-46,2) Difficulté d’être objectif 6 11,5 (5,4-23,0) Autre 13 25,0 (15,2-38,2) Figure 1. Mesure de l’intérêt des RSCA dans l’évolution de la démarche médicale et notation de la qualité et de l’intérêt des commentaires du tuteur sur les RSCA 18 33% 16 29% 27% 14 Nombre d'internes 12 21% 19% 10 8 6 17% 15% 13,5% 11,5% 8% 4 2 0 note de 0 à 1 note de 2 à 3 Evolution de la démarche médicale grâce aux RSCA note de 4 à 5 Qualité des commentaires du tuteur note de 6 à 7 note de 8 à 9 Intérêt des commentaires sur l'analyse des pratiques ANNEXES Annexe 1. Niveaux d’exigence du portfolio (extrait du guide du tutorat, mars 2010, DMG Angers) - Première année : 4 Récits de Situation Complexe Authentique (2 par semestre). Compte-rendu des rencontres de tutorat (1 à 2 par semestre) 1 recherche documentaire (souvent intégrée aux RSCA) 4 compte-rendu de rencontres avec les familles, paramédicaux et travailleurs sociaux (pouvant faire partie des RSCA) Auto évaluations selon les stages effectués à partir des grilles définies par le CNGE - Deuxième année : 4 situations cliniques complexes Choix du sujet de thèse Compte-rendu des rencontres de tutorat Analyse de 2 courriers : pour hospitalisation et pour fin d’hospitalisation Autoévaluation sur le guide, en fonction des stages effectués - Troisième année : 4 situations cliniques complexes : les 12 situations cliniques doivent avoir illustré les 11 compétences génériques définies par le CNGE et les Concepts et Pratiques de Médecine Générale (Annexe 2) Gestes techniques obligatoires Compte-rendu des rencontres de tutorat Analyse d’un évènement critique : l’exploitation des difficultés et des erreurs permet de mettre à jour leur mécanisme, sans jugement. Autoévaluation sur le guide, en fonction des stages effectués Annexe 2. Guide d’entretien du focus group SEANCE 1 Date : 11/06/10 - Horaires : 18h à 20h Lieu : Salle ED3, Faculté de médecine – Angers (49) ▪ Rappel du sujet de thèse : évaluation de l’utilisation du portfolio par les internes en médecine générale d’Angers. Première étape qualitative : focus group pour identifier les thèmes représentatifs du vécu des internes vis-à-vis du portfolio. 2 réunions sont prévues avant l’été. 2 grands thèmes relatifs au portfolio seront discutés lors de chacune des réunions. Constitution du groupe : 7 internes de 3 ème année de DES de Médecine générale, sélectionnés sur la base du volontariat Première phase de présentation de chacun des participants et expression libre (20 min) Puis discussion de 2 thèmes lors de cette première réunion : (1) CONTENU DES REUNIONS DE TUTORAT (45 min) Buts : - obtenir une description précise du contenu des réunions de tutorat de chaque interne. - analyser la relation tuteur-tutoré Exemple concret : qu’ont-ils fait lors de leur dernière réunion de tutorat ? A quelle fréquence rencontrent-ils leur tuteur ? Le guide de l’interne prévoit 2 réunions de tutorat par semestre, cela est-il effectif ? Les internes perçoivent-ils le tutorat comme une aide dans leur parcours de médecine générale ? Arrivent-ils à discuter librement de leurs questionnements ou difficultés rencontrées lors des stages ? Utilisent-ils le portfolio comme interface de discussion avec le tuteur ? (2) INTEGRATION DES INFORMATIONS SUR LE PORTFOLIO (45 min) Chaque interne a reçu le livret d’accueil du tutorat en début d’internat. Comment ont-ils perçu les informations données sur l’intérêt et l’utilisation du portfolio au cours du DES ? Vont-ils chercher les informations spontanément ? La constitution du portfolio implique une autoévaluation permanente de l’interne, avec analyse de situations cliniques vécues et acquisition de compétences. Ce nouveau rôle actif dans l’apprentissage est-il déstabilisant ? Les internes obéissent-ils aux consignes de remplissage du portfolio de façon purement scolaire, avec un travail minimal suffisant pour la certification finale ? Parviennent-ils à dépasser le cahier des charges formel pour s’approprier l’outil en tant que carnet de bord personnel et évolutif ? Ont-ils conscience du rôle de validation des compétences à visée diagnostique (évaluation des compétences) et surtout pronostique (apprentissage des responsabilités, réflexion sur les pratiques professionnelles nécessaire à l’exercice futur) ? ▪ Fin de séance (10 min): synthèse brève et prévision de la 2 ème séance de focus group durant laquelle 2 autres grands thèmes relatifs au portfolio seront abordés : (3) EVOLUTION DE LA PENSEE AU COURS DU CURSUS (4) TRACES D’APPRENTISSAGE ECRITES SEANCE 2 Date : 08/07/10 - Horaires : 18h à 20h Lieu : Faculté de médecine – Angers (49) ▪ Rappel du sujet de thèse : évaluation de l’utilisation du portfolio par les internes en médecine générale d’Angers. Première phase d’expression libre (10 min) Puis discussion de 2 thèmes lors de cette deuxième réunion : (1) EVOLUTION DE LA PENSEE AU COURS DU CURSUS (50 min) Evaluer le cheminement des internes. Nous attendons une prise de recul, une réflexion et une auto-évaluation plus pertinente en fin d’internat. Si oui, quels sont les mécanismes à l’origine de cette évolution ? En quoi leur pensée est-elle différente entre la 1 ère année de DES et la 3 ème ? Utilisent-ils des grilles d’autoévaluation pour visualiser l’acquisition des compétences ? Leur intérêt pour le portfolio a-t-il évolué au cours du DES ? Leur position vis-à-vis du tutorat a-t-elle varié au cours de l’internat ? Les entretiens avec le tuteur ont-ils permis de constater une évolution de la pensée de l’interne? (2) TRACES D’APPRENTISSAGE ECRITES (50 min) Comment les internes vivent-ils le fait d’écrire les Récits de Situation Clinique Authentique, éléments essentiels du portfolio ? Sont-ils enthousiastes ? Y-a-t-il un délai entre le vécu réel de la situation et sa rédaction ? Cela permet-il une meilleure assimilation des compétences ? En cas de difficulté et/ou réticence à l’écriture, cela reflète-t-il des blocages psychologiques plus profonds (protection, crainte de s’exposer, résistance au lâcher-prise) ? La notion de charge de travail trop lourde risque d’être évoquée en premier lieu, il faudra alors approfondir les thèmes évoqués ci-dessus. Aborder la question de la crédibilité des RSCA (part d’invention, honnêteté…). ▪ Fin de séance (10 min): synthèse brève Annexe 3. Questionnaire Evaluation de l’utilisation du portfolio par les internes en médecine générale d’Angers Ce questionnaire et la gestion des données sont anonymes. Il vous faut moins de 10 minutes pour le remplir. Il suffit de double-cliquer sur la case de votre choix ou de remplir le champ vide. N’oubliez pas d’enregistrer le fichier modifié avant de le renvoyer. ème 1 - Vous êtes interne en : 5 semestre 2 - Vous êtes : Une femme 6 ème semestre Un homme 3 - Vous destinez-vous à un exercice en médecine générale ? Votre âge : - Oui Non Oui Non ans → Si oui, de quel type (une seule réponse possible) ? Libéral Salarié Hospitalier Ne sait pas 4 - Etes-vous inscrit parallèlement à un DESC ? 5 - En moyenne, combien de réunions de tutorat avez-vous effectuées par semestre? 0 1 2 3 ou plus → Si chiffre < 2, pourquoi ? (Plusieurs réponses possibles) Contrainte de temps Contrainte géographique Manque de motivation Autre(s) → Lesquelles : - 6 - Le tutorat est-il une aide dans votre parcours de médecine générale (partage des expériences, motivation) ? Oui Non 7 - Considérez-vous votre tuteur comme une personne-ressource ? Oui Non 8 - Utilisez-vous le portfolio comme interface de discussion avec le tuteur ? Oui Non 9 - Avez-vous utilisé le livret de l’interne pour constituer votre portfolio ? Oui, dès le début d’internat Oui, mais plus tard au cours de l’internat Non, jamais 10 - Utilisez-vous les grilles d’autoévaluation pour visualiser l’acquisition des compétences ? Oui Non 11 - Considérez-vous avoir un rôle actif dans votre formation (constitution du portfolio, autoévaluation) ? Oui Non → Si oui, trouvez-vous cela déstabilisant ? Oui Non Pourquoi ? - 12 - Votre intérêt pour le portfolio a-t-il augmenté au cours de l’internat ? Oui Non → Si oui, grâce à quels évènements ? (plusieurs réponses possibles) : Rencontres avec le tuteur Stage praticien Module d’enseignement Discussion avec des co-internes Groupe d’échange de pratiques Stage hospitalier Autre(s) → Lesquelles : - 13 - Votre intérêt pour le tutorat a-t-il augmenté au cours de l’internat ? Oui Non → Si oui, grâce à quels évènements ? (plusieurs réponses possibles) : Rencontre avec le tuteur Stage praticien Module d’enseignement Discussion avec des co-internes Groupe d’échange de pratiques Stage hospitalier Autre(s) → Lesquelles : - 14 - L’écriture des récits de situation clinique complexe authentique (RSCA) a-t-elle été facile pour vous? Oui, dès le début de l’internat Oui, mais progressivement Non, jamais → Si non, pourquoi ? (plusieurs réponses possibles) Crainte de vous exposer Manque de temps Difficulté d’être objectif Autre(s) → Lesquelles : - 15 - Sur une échelle de 0 à 9, à quel point l’écriture des RSCA vous permet-elle d’évoluer dans votre démarche médicale (réflexion sur votre pratique, acquisition de compétences, recherche documentaire)? 0 1 2 3 4 5 6 7 8 9 16 - Sur une échelle de 0 à 9, comment notez-vous la qualité des commentaires de votre tuteur sur vos RSCA ? 0 1 2 3 4 5 6 7 8 9 17 - Sur une échelle de 0 à 9, à quel point ces commentaires vous aident-ils à progresser dans l’analyse de vos pratiques ? 0 1 2 3 4 5 6 7 8 9 Merci de votre participation, destinée à améliorer la formation des futurs internes.