Les axes de l`évaluation d`un projet

Transcription

Faculté de Psychologie
et des Sciences de l’Education
Recherche-accompagnement de projet
d’innovation pédagogique et organisationnelle
au sein du 2ème degré professionnel de
l’enseignement secondaire de plein exercice
Expérimenter au service de la réussite des
élèves de 3ème professionnel
Damien Canzittu
Stéphanie Malaise
Alizée Tutak
Place du Parc 18, B-7000 Mons
http://www.umons.ac.be/inas
Evaluation de projet : état des lieux
Des projets aux cadres diversifiés :
• au niveau de la structure des établissements ;
• des actions prévues ;
• des équipes éducatives ;
• des moyens prévus ;
• des thématiques visées.
Université de Mons
Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse
2
Quels buts principaux ?
1.Une élévation de la moyenne des résultats ;
2. Une réduction de la dispersion (variance)
des résultats ;
3. Une diminution de la corrélation entre
l’origine sociale de l’élève (et plus
généralement ses caractéristiques initiales) et
les résultats.
Université de Mons
3
Qu’est-ce que l’évaluation ?
Evaluer, c’est :
•
Donner de la valeur à un jugement argumenté dans le but de
prendre une décision pour agir (Raynal et Rieunier, 2009, p.188)
•
Moyen pour y parvenir ? Comparer un référé (l’objet à évaluer) à
un référent (un idéal) (Barbier, 1985)
•
Consiste à définir des critères et des indicateurs dans le but de
prendre des décisions, donc à choisir des éléments considérés
comme pertinents dans le référent (ce qui devrait être, ce qu’on
projette) et à déterminer durant l’action et à l’issue de celle-ci, si
ces éléments sont bien présents dans le référé (ce qui est) (Raynal
et Rieunier, 2009, p.182)
Université de Mons
4
Evaluer, c’est jeter un regard critique sur :
• Les activités que nous faisons ;
• Les ressources (humaines, matérielles ou financières) que nous
utilisons ;
• Les résultats que nous obtenons ou n’obtenons pas.
Dans le but de :
• Permettre une meilleure planification et gestion des activités ;
• Mieux comprendre et analyser ce que l’on fait ;
• Identifier les forces et les faiblesses des activités et les modifier au
besoin ;
• Savoir si on a obtenu les résultats désirés ;
• Partager notre expérience.
Université de Mons
5
6 questions à se poser (IUFM de Grenoble) :
1. A quoi va servir cette évaluation ? A réguler les processus, à
contrôler les apprentissages, à restructurer l’enseignement…?
2. A qui les résultats sont-ils destinés ? Aux enseignants, à
l’institution…?
3. Qu’est-ce qui est évalué ? Des stratégies, des démarches, des
apprentissages…?
4. Qui évalue ? Les enseignants, l’équipe éducative, l’institution…?
5. Quand évaluer ? Avant, au début pendant, à la fin du projet,
d’une période déterminée…?
6. Comment évaluer ? En observant, en analysant, grâce à des
indicateurs…?
Université de Mons
6
L’évaluation ne sanctionne pas nécessairement l’issue
d’une action, mais consiste plutôt à réguler celle-ci
au cours de sa mise en place.
Université de Mons
7
« Le grand défi de l’évaluation est de faire en sorte
qu’elle devienne un moyen pour améliorer les
interventions et non une nuisance à la réalisation
de celles-ci. L’évaluation ne devrait donc pas
devenir plus importante que l’intervention ».
MAIS il ne s’agit pas de tomber dans l’excès et
d’évaluer tout le temps importance de trouver
un juste milieu
Université de Mons
8
L’évaluation du projet
Hadji (1992, p.54) : 4 phases principales dans l’évaluation d’un
projet
• 1/ Evaluation initiale
• 2/ Mise au point d’outils d’évaluation
• 3/ Evaluation formative
• 4/ Evaluation finale
Université de Mons
9
PROJET
PHASES
NAISSANCE DU PROJET
Emergence d’une idée ; analyse de situation ;
formation d’une équipe ; inventaire des
ressources et contraintes ; recensement des
besoins
FORMULATION DES OBJECTIFS (généraux et
opérationnels)
STRUCTURATION DU PROJET
Choix des actions; recherche d’intervenants;
recherche d’aide; répartition des tâches;
préparation du dossier
MISE EN ŒUVRE DES ACTIONS
Réalisation et productions
ANALYSE DES RÉSULTATS
Bilan et perspectives
Université de Mons
Evaluation
initiale
régulation
Mise au point
des outils
d’évaluation
régulation
Evaluation
formative
régulation
Evaluation
finale
10
Etapes de la planification de l’évaluation
Deschesnes & Jomphe Hill
http://www.cocof.irisnet.be/site/co
mmon/filesmanager/sante/resaux
sante/intervention_ecoles_millieu
x_sante/
Université de Mons
11
Emergence d’un projet
4 conditions
• 1/ Unité
Liée aux auteurs du projet ; elle se développe au fur et
à mesure de l’élaboration du projet. Elle associe la
conception et la réalisation, marie l’idée et la réalité.
• 2/ Complexité
Fait référence à ce qui est imprévisible en raison de
nombreux éléments influençant le projet.
Université de Mons
12
• 3/Singularité
Liée aux contextes et aux particularités des
personnes, des lieux et du moment.
• 4/Opportunités
Présentes dans l’environnement. Nécessitent un
état d’éveil, une sensibilité aux problèmes ou aux
besoins du milieu.
Université de Mons
13
Etape 1 : Décider d’évaluer
Rédaction du plan d’intervention
-
Déterminer les besoins
Population visée
Objectifs
Quels changements visés ( connaissances,
attitudes, comportements…)
- Interventions envisagées
- Budget
- Échéancier (respect important afin de ne pas
perdre de vue les objectifs fixés)
- …
Université de Mons
14
Etape 2 : Planifier l’évaluation
2 types d’évaluation :
Evaluation de l’implantation du projet (mise en
œuvre)
Décrire et à apprécier les interventions réalisées (ex: planification
des activités, participation des populations cibles, ressources
mobilisées)
Identifier les facteurs qui contribuent ou nuisent à l’implantation
des interventions
Evaluation de l’impact du projet (Effets sur la
population cible)
Vérifier si les objectifs visés ont été atteints
Vérifier si les impacts observés sont attribuables à l’intervention
Université de Mons
15
Evaluation de l’implantation
2 grandes questions:
1. Qu’avons-nous réussi à mettre en œuvre ?
Pour y parvenir :
- Décrire les activités réalisées et vérifier si elles sont
conformes à ce qui était prévu
- Décrire les ressources humaines, matérielles ou
financières utilisées et vérifier si elles sont conforme à ce
qui était prévu
- Vérifier si l’échéancier a été respecté
Université de Mons
16
Deschesnes & Jomphe Hill (2000)
Université de Mons
17
2. Qu’est-ce qui a bien fonctionné ou moins bien
fonctionné et pourquoi ?
Pour y parvenir :
- Vérifier si les activités réalisées étaient adéquates compte
tenu des objectifs visés et des ressources disponibles
- Vérifier si les ressources utilisées étaient adéquates
compte tenu des activités à réaliser pour l’intervention
- Identifier les conditions qui ont contribué ou nui à
l’implantation de l’intervention
- Identifier les retombées non prévues
Université de Mons
18
Deschesnes & Jomphe
Hill (2000)
Université de Mons
19
Evaluation de l’impact (Bouchard & Plante, 2002)
EFFICACITE
Lien de conformité entre les objectifs visés et les
résultats effectivement obtenus.
COHERENCE
Lien de conformité entre les divers moyens et les
personnes et les objectifs visés.
EFFICIENCE
Lien de conformité entre l’économie de ressources
réalisées (moyens et personnes) et les résultats.
A-PROPOS
Lien de conformité entre un organisme (constitué de
ses objectifs et ses moyens et personnes) et les
contraintes de son environnement.
IMPACT
Lien de conformité entre les résultats attribuables à
l’organisme (mais non voulus explicitement) et les
attentes sociales (contraintes).
DURABILITE
Lien de conformité entre les objectifs visés et le
maintien dans le temps des résultats (prolongement de
l’efficacité dans le temps).
PERTINENCE
Lien de conformité entre les objectifs visés par
l’organisme et les besoins auxquels il doit répondre.
SYNERGIE
Lien de conformité entre la coordination des actions
par les personnes en place et les résultats atteints.
FLEXIBILITE
Lien de conformité entre les capacités d’amélioration
dont dispose un organisme et les lieux où s’imposent
ces changements.
Université de Mons
20
Réaliser la collecte des données
Qu’est-ce qu’un indicateur ?
Information quantifiable ou exprimée de façon
dichotomique (oui/non) qui permet de
- suivre la progression des activités ;
- vérifier si vous avez atteint ou non les objectifs
visés.
Université de Mons
21
Quelques exemples d’indicateurs
1. Le taux de redoublement en 3P
En 2009/2010, ce taux atteint
presque 30%.
Qu’en est-il dans votre établissement?
Il convient de répertorier ce
taux pour les années
précédentes et de mesurer ce
taux en fin de projet (fin
d’année ou fin de mise en
place du projet).
Université de Mons
22
2. Le taux de redoublement des élèves changeant ou non d’établissement
En 3P, le taux de redoublement s’élève à environ
70% pour les élèves qui ont changé d’établissement
entre 2008-2009 et 2009-2010, et à environ 25%
pour les élèves qui sont restés dans le même
établissement.
Quel est le taux de redoublement des élèves qui
restent dans l’établissement? Et pour ceux qui
partent?
Université de Mons
23
3. La répartition des attestations en 3P
En 3P, environ 40% des élèves obtiennent une
attestation A, environ 35% une attestation C et
moins de 5% une attestation B.
Pour les attestations B, 100% des élèves
se voient proposer un changement
d’option.
Est-ce de l’orientation?
Université de Mons
24
4. Parcours des élèves entrant en 3P
Université de Mons
25
Evaluation de l’impact
Université de Mons
26
Etape 3 : Recueil des données
Université de Mons
27
Etape 4 : Analyse des données
- Décrire ce que le programme visait (objectifs de
départ)
- Décrire ce qui a été réalisé (au niveau de
l’implantation ou des résultats)
- Analyser l’écart entre ce qui était prévu et
réalisé
- Comprendre pourquoi il y a un écart
- Identifier les changements qui doivent être
apportés au programme pour l’améliorer
Université de Mons
28
Etape 5 : Présentation des résultats
Données quantitatives et qualitatives
3 axes d’analyse de la dynamique de projet lors du traitement
des données :
• Axe des performances : résultats effectifs chez l’élève (en
termes de savoirs, savoir-faire et savoir-être)
• Axe des processus : développement et évolution des
pratiques des enseignants et d’autres acteurs
• Axe des perceptions : représentations des enseignants et
des élèves
Analyse conjointe et partagée
• Points positifs
• Difficultés
• Pistes d’amélioration
Université de Mons
29
Etape 6: prise de décisions
Orientation de l’intervention future
Prise de décisions
- Poursuivre sans modification
- Poursuivre mais en apportant des modifications
- Interrompre l’intervention pour quelques temps
(pour trouver un mode de financement, pour
avoir le temps d’identifier ce qui répond mieux
aux objectifs…)
- Interrompre complètement l’intervention
Université de Mons
30
Outils d’évaluation
Différents types d’outils d’évaluation :
•
•
•
•
•
•
Questionnaires (avec questions ouvertes et/ou fermées)
Discussions de focus-group
Diagrammes de flux, études de cas
Entretiens
Outils créatifs
Analyses
Choisis en fonction de plusieurs facteurs (triangulation), à
savoir l’objectif de l’évaluation, le temps imparti, les
ressources financières et les compétences disponibles, ... .
Objectif : collecter des informations de manière adéquate
Université de Mons
31
Références bibliographiques
•
Barbier, J.M. (1985). L’évaluation en formation. Paris: PUF.
•
Deschènes, M. & Jomphe Hill, A. (2000). Ecoles et milieux en santé :Guide
d’évaluation.
http://www.cocof.irisnet.be/site/common/filesmanager/sante/resauxsante/inter
vention_ecoles_millieux_sante/
•
Entreprise publique des Technologies Nouvelles de l’Information et de la
Communication de la Communauté française (Etnic) (2010). Les indicateurs de
l’enseignement. Bruxelles : Ministère de la Communauté Française.
•
Guide de pédagogie entrepreneuriale « Petites leçons d’enthousiasme et de
créativité ».
Université de Mons
32
Références bibliographiques
•
Hadji, Ch. (1992). L’évaluation des actions éducatives. Paris: PUF.
•
IUFM de Grenoble. Quelques éléments fondamentaux sur l’évaluation. Note de
synthèse.
http://webu2.upmfgrenoble.fr/sciedu/pdessus/sapea/evaluationcampeval.pdf
•
Raynal, F & Rieunier, A. (2009). Pédagogie, dictionnaire des concepts clés :
Apprentissage, formation, psychologie cognitive. Paris : ESF.
Université de Mons
33

Les axes de l`évaluation d`un projet

Transcription

Documents pareils

Business Innovation Centre of Mons

MICHAËL MIRAGLIA seul aux manettes sur RTL

Ligue Sport Adapté Languedoc

initiation au theatre - CLALAGE St Georges de Mons

José PLAssCHAerT

Congres Hotel Mons

MERCEDES HERNANDEZ Annerys Vendeuse

d`administration D4 (secrétariat)