Evaluation des politiques publiques (CEP oct 2011)

Transcription

L’évaluation des politiques publiques.
Retour sur l’expérience française et les
conceptions syndicales
(Octobre 2011)
Nicolas Fleury
CENTRE ETUDES & PROSPECTIVE DU GROUPE ALPHA
Synthèse
• L’évaluation d’une politique publique revêt plusieurs dimensions, marquées par le moment de
l’évaluation par rapport à la politique qui en fait l’objet, les acteurs et leur degré d’engagement
dans le processus d’évaluation, et la méthodologie scientifique mobilisée. Les conséquences
couramment avancées d’une évaluation sont la validation ou la ré-orientation de l’action publique.
En pratique, praticiens et spécialistes de l’évaluation soulignent l’importance du processus
d’évaluation en soi, qui permet dialogue et interactions entre les acteurs du processus, et facilite
ainsi une appropriation des enjeux des politiques menées.
• En France, deux grands types d’acteurs sont en charge de l’évaluation, responsables d’évaluation
ou évaluateurs : certaines administrations centrales ou locales ainsi que le pouvoir
réglementaire, et organismes évaluateurs (laboratoires de recherche, instituts indépendants,
prestataires du privé)
• L’évaluation des politiques publiques constitue une « valeur montante » en France. Le progrès
dans la diffusion d’une culture de l’évaluation en France se mesure notamment : (i) par
l’existence ou le renforcement d’obligations légales d’évaluation (évaluation ex ante des projets
de loi, obligation d’évaluation pour certaines politiques publiques, etc.), (ii) à travers les apports de
la Loi Organique relative aux Lois de Finance (LOLF, votée en 2001) appliquée depuis plusieurs
années et qui fournit un « cadre » pour l’évaluation des politiques publiques menés par l’Etat
central (création et suivi d’indicateurs servant à mesurer le degré d’atteinte d’objectifs lié à des
« programmes ») ; (iii) par la mise en oeuvre d’expérimentations-évaluations d’importance dans le
domaine économique ou social depuis 2006 (expérimentation d’accompagnement renforcé des
chômeurs en 2006-2008, expérimentation RSA en 2007 et 2008, etc.).
• Finalement, on présente quelques réflexions ayant trait au lien entre partenaires sociaux et
évaluation. On insiste notamment sur le fait que la culture de l’évaluation est généralement assez
faible chez les partenaires sociaux et que les syndicats gardent une certaine ‘distance’ par
rapport à l’évaluation. Cependant, l’évaluation les interpelle pour de nombreuses raisons :
existence d’enjeux d’évaluation du point de vue des syndicats, intérêt pour l’évaluation quand
ceux-ci ont une responsabilité institutionnelle. On note que certaines formes de syndicalisme, par
ailleurs, sont particulièrement disposées à s’intéresser à la question de l’évaluation des politiques
publiques. L’intérêt des syndicats pour l’évaluation est notamment lié à certaines obligations
d’évaluation par certaines lois récentes, mais est aussi contingent à la position qu’ils peuvent
eux-mêmes prendre dans les processus d’évaluation. L’évaluation dans le cadre de la négociation
collective soulève également chez les partenaires sociaux la crainte d’une « évaluation-sanction ».
2
L’évaluation des politiques publiques. Retour sur l’expérience française et les conceptions syndicales – octobre 2011
Sommaire
Préalable : Quelle définition pour l’évaluation ? ....................................................................... 5
1
LES MODALITES D’EXERCICE DE L’EVALUATION DES POLITIQUES PUBLIQUES............... 6
1.1 La pratique de l’évaluation des politiques publiques : les différentes
dimensions ..................................................................................................... 6
1.1.1
Le moment de l’évaluation ................................................................................. 6
1.1.2
Les acteurs et leur place respective dans le processus d’évaluation .................. 7
1.1.3
La méthodologie scientifique mobilisée ............................................................ 8
1.1.4
La forme de l’évaluation : évaluation de processus vs évaluation d’impact .... 11
1.2 Comment juger des pratiques d’évaluation de politique publique ?....... 13
1.2.1
Méthodologies d’évaluation : quels avantages relatifs, et quelle tendance ? ... 13
1.2.2
Evaluation managériale vs évaluation participative ......................................... 14
1.2.3
Quel impact des évaluations de politique publique ? ....................................... 14
2
LES PRATIQUES D’EVALUATION : EXPERIENCES FRANÇAISES ........................................ 16
2.1 Les acteurs et le cadre légal de l’évaluation en France............................ 16
2.1.1
L’architecture de l’évaluation en France .......................................................... 16
2.1.2
L’offre et la demande d’évaluation : les acteurs de l’évaluation et les
obligations légales ............................................................................................................ 20
2.2 La LOLF : un cadre pour l’évaluation des politiques publiques ? ........... 23
2.2.1
Le contexte d’élaboration de la LOLF ............................................................. 23
2.2.2
Le contenu de la LOLF .................................................................................... 24
2.2.3
Les justifications de la LOLF ........................................................................... 25
2.2.4
Les effets de la LOLF....................................................................................... 25
2.3 Retour sur quelques expériences d’évaluation en France ....................... 27
2.3.1
Les évaluations des effets des Lois Aubry I et II sur l’emploi ......................... 27
2.3.2
Les expérimentations d’accompagnement renforcé des chômeurs par l’Unédic
et l’ANPE ......................................................................................................................... 30
2.3.3
Les expérimentations du Revenu de Solidarité Active .................................... 31
2.3.4
Les évaluations d’impact du Grenelle de l’environnement .............................. 32
2.3.5
L’accompagnement de collégiens à la recherche de leur premier stage .......... 34
3
EVALUATION DES POLITIQUES PUBLIQUES ET ORGANISATIONS SYNDICALES ............... 34
3.1 Cadre légal de l’évaluation et organisations syndicales .......................... 35
3.1.1
Le cadre légal ................................................................................................... 35
3.1.2
Quelle initiative des syndicats dans ce cadre légal ? ........................................ 35
3.2 Culture de l’évaluation chez les organisations syndicales et ses enjeux36
3.2.1
Faible culture de l’évaluation ou distanciation volontaire des organisations
syndicales ? ...................................................................................................................... 36
3.2.2
L’évaluation interpelle les syndicats ................................................................ 37
3
3.3 Offre d’évaluation et place des syndicats dans l’évaluation.................... 38
3.3.1
3.3.2
Place des syndicats au regard de l’évaluation .................................................. 38
Évaluation d’impact vs évaluation de process, quel effet pour les syndicats ? 38
3.4 Evaluation et accords collectifs ................................................................. 39
3.4.1
Evaluation en droit : effectivité et évaluation du champ d’habilitation des
syndicats pour la mise en œuvre d’une politique publique .............................................. 39
3.4.2
Evaluation en droit : efficacité de la mise en œuvre de la politique publique par
les syndicats...................................................................................................................... 40
3.4.3
La crainte d’une évaluation-sanction ?............................................................. 41
CONCLUSION ....................................................................................................................... 42
Références .......................................................................................................... 43
Liste des tableaux
Tableau 1. Caractéristiques de certaines expériences françaises d’évaluation de politique publique ..…........
13
Tableau 2. L’architecture actuelle de l’évaluation en France ………………………………………….
20
Tableau 3. Missions, Programmes et Actions dans la LOLF (2001) ………………………………........
25
4
Préalable : Quelle définition pour l’évaluation ?
L’évaluation d’une politique publique (EPP) consiste à « apprécier (…) l’efficacité de cette
politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre »
(Décret n°98-1048 du 18 Novembre 1998 relatif à l’évaluation des politiques publiques). Pour
Bourdin, André et Plancade (2004), cette définition implique une certaine ambition pour
l’évaluation : celle-ci doit dépasser la seule description des ressources et des réalisations
(traitement effectué), l’évaluation devant incorporer résultats (chiffrés) et impacts mesurés
(changement des comportements, de la situation d’une localité, etc.). Il apparaît ainsi que
l’évaluation d’une politique publique nécessite :
•
d’identifier très précisément la politique mise en œuvre par le décideur public qui fera
l’objet de l’évaluation (différentes mesures pouvant en effet concourir à la réalisation
d’un objectif économique ou social)
•
de fixer les objectifs finaux de cette politique, et éventuellement, des objectifs
intermédiaires
•
une définition précise des indicateurs qui seront mobilisés pour mesurer le degré
d’atteinte des objectifs
•
de la méthodologie scientifique à mettre en oeuvre pour cette évaluation
•
de choisir les acteurs participant au processus d’évaluation
L’évaluation de politique publique s’apparente à un processus rigoureux, mené en différentes
étapes et mobilisant différents acteurs, pouvant varier selon le mode d’évaluation retenu (cf.
infra), et qui doit idéalement aboutir à un jugement.
Ce document s’attache tout d’abord à exposer une synthèse des pratiques d’EPP, en en
présentant tout d’abord les différentes dimensions dans une première partie 1.
On expose dans une seconde partie le cadre l’égal de l’évaluation, un « état des lieux » des
organismes d’évaluation en France ainsi que quelques expériences françaises récentes
d’évaluation.
Une troisième partie pose quelques éléments de réflexion sur la position des organisations
syndicales quant à l’évaluation.
5
1 Les modalités d’exercice de l’évaluation des politiques
publiques
On souligne dans cette première partie les éléments qui caractérisent une évaluation de
politique publique : (i) le moment de l’évaluation, (ii) les acteurs participant à l’évaluation et
leur place respective dans le processus d’évaluation, (iii) la méthodologie scientifique
employée pour évaluer une politique publique, (iv) la forme de l’évaluation (évaluation de
processus vs évaluation d’impact). Cette partie questionne enfin la manière dont on peut
évaluer, « juger » elles-mêmes les pratiques d’EPP.
1.1 La pratique de l’évaluation des politiques publiques : les
différentes dimensions
1.1.1 Le moment de l’évaluation
Quatre grands types d’évaluation peuvent être identifiés, selon le moment où intervient une
évaluation par rapport à la mise en œuvre de la politique ou action qu’elle cherche à évaluer :
(i) l’évaluation ex ante, (ii) l’évaluation ex post, et (iii) l’évaluation in itinere, (iv) l’évaluation
intermédiaire.
L’évaluation ex ante correspond à « l’étude prospective de la faisabilité et de l’impact d’une
mesure projetée ou en préparation » (La Documentation Française). Le caractère prévisionnel
ou programmatique de ce type de pratique est à souligner. Elle nécessite de disposer d’outils
permettant de simuler l’impact d’une mesure particulière sur une variable « objectif »
économique et/ou sociale. Un modèle décrivant la relation supposée entre la politique par
laquelle agit le décideur public (variable d’impact) et l’objectif qu’elle poursuit est alors
nécessaire pour évaluer numériquement l’impact attendu de cette politique. Ce type de
méthodologie peut donc s’avérer particulièrement complexe, du fait qu’une évaluation ex ante
doit prendre en compte le plus possible les potentiels effets non désirés ou pervers.
L’évaluation ex post revient quant à elle à évaluer une politique en regard des objectifs qui ont
été mis en avant pour la justifier, après la mise en œuvre de cette politique ou bien après une
période qui est jugée comme « recevable » ou « minimum » pour juger des effets d’une
politique particulière. Elle demande une définition claire des objectifs assignés à une politique
pour jauger de la réalisation de ceux-ci.
Les évaluations in itinere et « intermédiaire » interviennent respectivement tout du long de la
mise en œuvre de la mesure étudiée (« chemin faisant », ou bien en continu), et à un moment
6
précis de cette mise en œuvre. Ces deux types d’évaluation permettent de vérifier le degré de
réalisation de la politique en cours d’implémentation, et de la réalisation d’éventuels objectifs
d’étape (par exemple, d’objectifs de mi-parcours). Ces évaluations permettent, le cas échéant,
le recadrage d’une politique si ses résultats « temporaires » sont jugés s’écarter trop des
objectifs fixés1.
A noter que la distinction entre les évaluations ex-post et intermédiaire n’est pas toujours très
nette, le principal facteur discriminant entre les deux étant le degré de maturation d’une
politique si celle-ci est programmée sur un moyen/long terme, ou bien sa période
d’application (étant entendu que ses effets peuvent perdurer au-delà ce cette période).
Par ailleurs, ces évaluations ne sont pas nécessairement exclusives les unes des autres. En
effet, une pratique « idéale » d’évaluation de politique publique pourrait s’apparenter à un
processus qui permet une évaluation de la mesure envisagée avant d’être implémentée
(évaluation ex ante), qui permet d’observer la tendance de la variable « objectif » ou le degré
atteint de réalisation d’éventuels objectifs intermédiaires (évaluation à mi-parcours, par
exemple), pour juger au final de l’impact de cette politique à partir des résultats obtenus après
son implémentation (évaluation ex post).
1.1.2 Les acteurs et leur place respective dans le processus d’évaluation
La place des acteurs mobilisés dans un processus d’évaluation d’une mesure publique a connu
de fortes évolutions depuis les premiers travaux d’évaluation remontant au début des années
1900 aux Etats-Unis. En effet, différents acteurs sont impliqués dans les processus
d’évaluation. Arnaud et Boudeville (2004) en distinguent 4 grands types :
1. le commanditaire (ou maître d’ouvrage) qui est le décideur public et qui commande
l’évaluation. On peut aussi y associer l’opérateur public qui est responsable de la mise
en œuvre de la politique.
2. les bénéficiaires de la politique publique. Il s’agit d’abord des publics concernés
directement par la mesure, mais également des personnes morales ou physiques qui
bénéficient, de par leur type d’activité, de la politique publique, dont les opérateurs
privés (tout opérateur privé étant un bénéficiaire, mais l’inverse n’est pas vrai).
1
Une référence célèbre de mobilisation d’objectifs intermédiaires provient d’une des mesures de politique monétaire menée
par le gouvernement Thatcher en Grande-Bretagne, la Medium-Term Financial Strategy. La nécessité de maîtriser une
inflation devenue galopante dans les années 1970 en Grande Bretagne incite le gouvernement nouvellement élu à adopter
en 1980 une politique monétaire basée sur la poursuite d’un objectif final de maîtrise de l’inflation par l’adoption
d’objectifs de moyen terme (d’abord jusqu’à 5 ans) en termes de croissance de Masse monétaire. Cette dernière est
considérée à partir de l’agrégat M3 « sterling», agrégat référence depuis 1977 pour la Grande-Bretagne. Des normes de
croissance de cet agrégat (jusqu’à l’année n+5) sont tout d’abord définies chaque année, le but étant d’infléchir les
anticipations inflationnistes des agents, en remplaçant une régulation conjoncturelle (de court terme) par une gestion
monétaire plus restrictive.
7
3. le comité de pilotage, qui surveille le déroulement de l’évaluation (contrôle qualité),
valide l’ensemble des écrits de l’évaluateur, s’assure de l’accès de l’évaluateur aux
ressources nécessaires pour la bonne mise en œuvre de son travail
4. le chargé d’évaluation (ou maître d’oeuvre), qui mène l’évaluation. Il peut être interne
ou bien externe à l’administration commandant l’évaluation.
A partir de la définition de ces différents acteurs, Baron et Monnier (2003) différencient les
évaluations « managériales2 » des évaluations dites « participatives », ces dernières présentant
la particularité d’être coproduites par des tiers. Dans les approches « managériales »,
l’administration responsable de la gestion de la politique publique décide du contenu de
l’évaluation et en pilote les travaux, le jugement final étant produit par l’équipe d’évaluation.
Baron et Monnier (2003) considèrent deux dimensions permettant de distinguer plusieurs
types d’évaluation participative : (i) la largeur de la participation, ou diversité des acteurs
impliqués dans le processus, (ii) leur degré d’implication dans les différentes phases du
processus d’évaluation (définition du projet d’évaluation, cahier des charges, pilotage des
travaux, analyse et interprétation des données collectées, recommandations). L’évaluation
« co-produite » réunit un petit nombre d’acteurs mais les associe à un grand nombre d’étapes
du processus de l’évaluation. L’évaluation « pluraliste », à l’inverse, mobilise un large
éventail d’acteurs mais qui ne sont impliqués que dans certaines étapes. Finalement, les
évaluations « émancipatrices » combinent les caractéristiques des deux précédents types, en
associant de nombreux acteurs concernés par une politique à de nombreuses phases du
processus d’EPP. Ce dernier type d’évaluation revient, couramment, à faire produire l’EPP
par la société civile3. Cela revient, au final, à identifier 4 grands types d’EPP4. Notons qu’en
pratique, l’ouverture pratiquée correspond souvent à une relative pluralité d’acteurs au sein du
comité de pilotage de l’évaluation.
1.1.3 La méthodologie scientifique mobilisée
Les approches scientifiques habituellement employées pour évaluer une politique publique
peuvent correspondre, de manière schématique (L’Horty et Petit, 2010) : (i) aux analyses
statistiques employées par les économistes qui exploitent des bases de données composées de
nombreuses observations, (ii) ou bien à des analyses d’ordre qualitatif souvent menées par des
sociologues ou des politologues, basées sur de « petits » échantillons sur lesquels sont menés
2
Le terme « managérial » est, dans cette acception, utilisé dans un sens « fermé ».
Notamment par la mise en œuvre d’évaluations qualitatives.
4
Ces 4 grands types étant les évaluations managériales, les évaluations coproduites, les évaluations pluralistes, les
évaluations émancipatrices. On doit noter que Baron et Monnier (2003) parlent également de 5 « générations » d’évaluation,
les 3 premières correspondant à des évaluations de type managérial, les évaluations « coproduites » ou « pluralistes » en
constituant la 4ème génération et la 5ème génération relevant d’un type d’évaluation « émancipatrice ».
3
8
des entretiens poussés. Le premier type d’approche est privilégié dès les premiers travaux
d’EPP en Amérique du Nord. Le second type, plus qualitatif et participatif, profite d’une
certaine remise en cause des études quantitatives (coût et durée élevés pour des résultats
mitigés) dans les années 1980 pour se développer (Perret, 2003). L’approche d’évaluation
quantitative est souvent perçue comme le modèle « canonique » d’évaluation, où l’évaluation
est menée en répartissant les individus objets de l’étude parmi plusieurs groupes : un ou
plusieurs groupe(s) test, et un groupe témoin, le « contrefactuel », auquel on fait référence
pour quantifier l’impact « net » d’une mesure publique.
L’expérimentation sociale5 associée à un dispositif d’évaluation constitue une autre approche
de l’évaluation de politiques publiques. Cette méthodologie consiste à tester une action ou une
mesure économique et/ou sociale sur une population restreinte et pour une durée déterminée
afin d’évaluer son impact, pour, le cas échéant, généraliser cette action à l’ensemble des
populations définies comme cibles si la mesure a été évaluée comme efficace. Ces
expérimentations datent déjà d’une quarantaine d’années en Amérique du Nord, mais il faut
attendre 2006 pour une première application d’ampleur au cas français, lors d’une évaluation
de l’efficacité de l’action des opérateurs privés de placement envers les demandeurs d’emploi6.
La diffusion des travaux d’Esther Duflo7 sur l’expérimentation sociale pour la lutte contre la
pauvreté a joué un rôle important dans la diffusion de ces pratiques (L’Horty & Petit, 2010).
Une évaluation associée à une expérimentation sociale suppose la mise en œuvre d’un
partenariat durable entre au moins deux acteurs, le porteur de projet (l’Etat, collectivité
territoriale, établissement public, association) et l’évaluateur, cabinet de conseil ou centre de
recherche (Guide méthodologique pour l’évaluation des expérimentations sociales, 2009).
Enfin, un protocole d’évaluation doit être construit en amont de l’expérimentation, qui décrit
le déroulement de l’expérimentation et de son évaluation et « précise les modalités de
constitution des groupes tests et témoins, les effectifs de chaque groupe en tenant compte de
l’attrition éventuelle durant l’expérimentation, le déroulement des interrogations ou des
enquêtes qui vont permettre de collecter des données tout au long de l’expérimentation »
(L’Horty et Petit, 2010, p.11). Ce type de projet d’expérimentation sociale-évaluation, limité
dans le temps et dans l’espace, a pour vocation d’être généralisé en cas de résultats probant.
On emploie souvent le terme d’expérience contrôlée pour ce type d’expérimentation, par
rapport aux quasi-expériences ou expériences naturelles (le cadre de ces expériences n’est pas
construit par l’évaluateur, il lui est « imposé »8).
Couramment, l’efficacité des expérimentations sociales est mesurée par évaluation aléatoire
(ou évaluation « randomisée ») : le principe est d’évaluer l’impact d’une politique en
5
Ce type d’expériences contrôlées se rapproche du concept de « Recherche-Action » définissant certaines expériences en
Sciences Humaines dans lesquelles l’expérimentation, la recherche et l’action sont unifiés au cours d’une même approche.
6
Se référer à Behaghel L., Crepon B., et Gurgand M. (2009), « Evaluation d’impact de l’accompagnement des demandeurs
d’emploi par les opérateurs privés de placement et le programme Cap vers l’entreprise », rapport final, miméo, Septembre
7
Economiste française spécialisée en économie du développement, Esther Duflo dirige le Abdul Latif Jameel Povery Action
Lab (J-PAL) du Massachussetts Institute of Technology et est la première titulaire de la chaire « Savoirs contre la
pauvreté » du Collège de France.
8
Par exemple, tester l’impact d’une catastrophe naturelle sur les individus qui en ont subi les conséquences.
9
comparant un groupe « test », à qui sera appliquée la mesure, et un groupe « témoin ». Ces
deux groupes sont tirés au sort de manière aléatoire par l’évaluateur. Le principal avantage
d’une évaluation aléatoire est de contrôler les biais de sélection qui peuvent exister quand on
compare deux populations9 : le tirage au sort aléatoire permet (théoriquement) de constituer
des populations aux caractéristiques moyennes similaires. Après expérimentation, les
différences observées dans la valeur des variables objectifs entre groupes test et témoin
peuvent être attribuées à l’action mise en œuvre sur le groupe test, et donc ainsi au
« traitement » dont il a bénéficié10.
On doit noter que toute évaluation-expérimentale sociale constitue une rupture au principe
d’égalité dans la mesure où seulement certains des bénéficiaires potentiels bénéficient
effectivement de la mesure publique (temporaire) dans ce cadre. Des dispositions législatives
permettent la mise en place de telles pratiques. Ainsi, la loi constitutionnelle du 28 mars 2003
inscrit pour cela la possibilité d’expérimentation dans la Constitution et ouvre la voie à des
expérimentations d’abord limitées sur la période 2003-200611, avant celles, d’ampleurs plus
importantes, de l’accompagnement renforcé des demandeurs d’emploi (2006-2008) et du
Revenu de Solidarité Active (2007-2008)12.
Parmi les critiques associées aux expérimentations-évaluations randomisées, les plus
fréquentes sont 13 : (i) l’incertitude entourant l’efficacité de leur généralisation à grande
échelle (des effets « d’équilibre général » peuvent aller à l’encontre des effets locaux mesurés
dans la phase expérimentale, et est seulement mesuré l’effet d’une action spécifique14), (ii) la
carence de modèle théorique sous-jacent pouvant expliquer les résultats, (iii) la possibilité
d’effets Hawthorne, c’est-à-dire de comportements orientés/modifiés par l’expérience ellemême.
En dehors de la typologie évaluation quantitative / qualitative / évaluation-expérimentation
(L’Horty et Petit, 2010), la littérature économique différencie souvent l’évaluation par
« approche structurelle » et l’évaluation par « approche en forme réduite » (Heckman, 2010).
L’approche structurelle [1] conduit à estimer des modèles économiques formulés de manière
9
Ces biais de sélection provenant d’une hétérogénéité individuelle des populations, sur des caractéristiques observables ou
non observables.
10
Notons par exemple que le Revenu de Solidarité Active, « testé » par expérimentation sociale avant sa généralisation, n’a
au final pas été évalué par une méthode aléatoire (cf. infra).
11
Mené sur des dispositifs d’accompagnement de demandeurs d’emploi, ces expérimentations menées par des Assedic ont
concerné des populations restreintes : la plupart du temps, quelques centaines d’individus tout au plus.
12
La loi de finances 2007 offre aux départements « la possibilité d’expérimenter un dispositif d’incitation financière au
retour à l’emploi auprès des allocataires du Revenu Minimum d’Insertion (…) en augmentant le montant de l’allocation
due sous certaines condition en cas de reprise d’activité, ou en modifiant la durée ou la périodicité » (Comité d’évaluation
des expérimentations du RSA, 2009). De plus, la loi TEPA (2007, Travail, Emploi et Pouvoir d’Achat) a assoupli les
possibilités de dérogation pour les allocataires du RMI et a élargi l’expérimentation du Revenu de Solidarité Active aux
allocataires de l’Allocation Parent Isolé.
13
Sur ce point et plus particulièrement sur les critiques pouvant être apportées aux expérimentations dans le domaine de
l’économie du développement, voir par exemple Labrousse (2010).
14
En effet, ces expérimentations ne permettent pas la prise en compte d’éventuelles interactions entre facteurs.
10
explicite 15 . L’approche sous forme réduite peut renvoyer à une évaluation menée dans le
cadre d’expériences contrôlées (program evaluation, [2]), ou bien à une évaluation de
politique guidée par la théorie économique, mais sans utiliser de modèle contraignant comme
dans l’approche structurelle [3]. Les approches « quantitatives » traditionnelles regroupent
donc les approches [1] et [3] tandis que l’approche par évaluation-expérimentation correspond
à celle de program evaluation [2].
1.1.4 La forme de l’évaluation : évaluation de processus vs évaluation
d’impact
L’évaluation d’impact permet d’étudier l’impact d’une action publique sur une variable
« d’impact » ou « objectif ». L’évaluation de processus a quant à elle pour objet d’analyser
en profondeur, de « lever le voile » sur la manière dont s’est mise en place et appliquée
l’action publique, en insistant sur le jeu et la coordination des différents acteurs impliqués.
Elle correspond, de ce point de vue, à une analyse de type qualitative ; elle peut logiquement
déboucher sur une évaluation endo-formative16.
Le tableau ci-après présente quelques expériences françaises d’évaluation, et certaines de
leurs dimensions.
15
L’approche structurelle permet notamment (Van Der Linden, 2011) : (i) de prédire l’impact de l’action publique évaluée
dans un autre environnement, (ii) d’en expliciter les mécanismes d’impact. Ce type d’approche est long et complexe à
mettre en œuvre et implique beaucoup de contraintes par rapport à la théorie.
16
L’évaluation endo-formative, nécessairement en « continu » ou « intermédiaire », vise à améliorer les performances de
l’action évaluée en faisant un retour aux parties concernées, afin que celles-ci puisent modifier leur conduite et leur
efficacité.
11
Tableau 1. Caractéristiques de certaines expériences françaises d’évaluation de politique publique
Rationalisation des Choix
Budgétaires (RCB)
Evaluation d’opérations de
Développement Social Urbain
1970-1984
x
A partir de
1987
(loi votée en
2001)
Evaluation de 2003 du PIC
URBAN sur Grenoble
2003
x
Evaluation de
l’expérimentation sociale
d’accompagnement renforcé
des demandeurs d’emploi
2006-2008
x
Evaluation de l’impact
macroéconomique des
mesures du Grenelle de
l’Environnement par le Boston
Consulting Group
Evaluation de l’impact
macroéconomique du Grenelle
de l’environnement par la
Direction Générale du Trésor
2009
2010
(x)
x
Participative
Managériale
Expérimentati
on sociale
x
x
x
(x)
x
x
Qualitative
Quantitative
x
2007 - 2008
Type
d’évaluation
x
Loi organique relative aux lois
de finance (LOLF)
Expérimentation RSA
Méthodologie
appliquée
Ex post
Date de
réalisation
In itinere ou
intermédiaire
Exemple
Ex ante
Moment
d’évaluation
x
x
x
x
x
x
x
x
x
Principaux résultats de l’évaluation
Remarques
Premières tentatives d’évaluation ex ante en France structurante pour le budget de l’Etat, restant peu
formalisées et peu analytiques.
Evaluation de type émancipatrice, où certains habitants, « élus », appartenaient aux comités de pilotage.
Cette évaluation n’a pas convaincu l’administration de l’époque (Baron et Monnier, 2003).
Les projets annuels de performance (précisant les coûts associés à chaque programme et les résultats
attendus) se rapprochent d’évaluations ex ante tandis que les rapports annuels de performance évaluant
les résultats des actions passés (dans le projet de Loi de Règlement) seraient des évaluations ex post.
URBAN est un programme d’intérêt
Notamment, meilleur accès des lieux publics,
communautaire (PIC) lancé par la Communauté
malgré quelques zones mal desservies
européenne
x
A l’horizon des 12 mois, les 2 programmes
accroissent le taux de sortie vers l’emploi
Test des programmes « opérateurs privés de
placement » et « cap vers l’entreprise » menés
par l’Unédic et l’ANPE
x
Le taux moyen de retour à l’emploi est en moyenne
plus élevé dans les zones expérimentales que dans
les zones témoins (à la limite de la significativité
statistique)
Il était prévu initialement une évaluation
aléatoire, mais seul le caractère expérimental a
été conservé
x
Les programmes du Grenelle permettraient la
création de plus de 600 000 emplois en moyenne
sur la période 2009-2020 (principalement grâce aux
projets d’infrastructure)
Evaluation à partir du coût de chaque programme
du Grenelle, converti en activités et en emplois
associés
x
L’impact du Grenelle de l’environnement est
favorable sur le PIB et l’emploi à moyen terme. A
l’horizon 2020, les gains économiques du Grenelle
s’annulent pour devenir ensuite négatif.
L’impact du Grenelle est évalué à partir du
modèle macroéconomique Trésor-INSEE
Mésange
12
1.2 Comment juger des pratiques d’évaluation de politique
publique ?
Si on veut juger ou « évaluer » les pratiques d’évaluation de politique publique, plusieurs
questions peuvent être avancées. Tout d’abord, y a-t-il une méthodologie d’évaluation
préférable à une autre ? Quelles sont les méthodologies mobilisées et quelle tendance se
dégage de ces choix méthodologiques ? Ensuite, quel est l’impact concret des évaluations sur
les choix du décideur public en termes d’orientation de politique ou d’action publique ?
1.2.1 Méthodologies d’évaluation : quels avantages relatifs, et quelle
tendance ?
Si les pratiques quantitatives « traditionnelles » ont dominé une grande part du 20ème siècle,
les méthodes qualitatives et participatives qui intègrent une plus grande diversité de points de
vue ont totalement gagné leur place et leur légitimité, d’autant plus que les méthodes
traditionnelles sont particulièrement exigeantes en termes de temps et de coût (Perret, 2003).
Le contrôle a priori des biais de sélection 17 , la possibilité d’évaluer n’importe quel
composante d’un programme social, mais également le partenariat chercheur-décideur public
(dimension participative) constituent les principaux avantages des techniques d’évaluation
aléatoire (L’Horty et Petit, 2010). Comme on l’a déjà souligné, les limites souvent avancées
en sont la rupture d’égalité18, le fait que « la mesure des effets d’un traitement local n’est pas
nécessairement la mesure des effets d’un traitement généralisé » (L’Horty et Petit, 2010, p.
21), et son coût organisationnel et logistique (procédures innovantes à traitement statistique
lourd). Finalement, les méthodes d’évaluations expérimentales peuvent s’avérer
complémentaires des autres méthodes d’évaluation quantitatives car elles peuvent couvrir des
terrains jusqu’alors ignorés par les approches traditionnelles (Banerjee et Duflo, 2008). La
méthode d’expérimentation sociale et d’évaluation aléatoire porte de plus une ambition forte,
celle d’être tournée vers l’action, l’objectif étant « d’identifier les politiques efficaces et celles
qui ne le sont pas » (Esther Duflo). Ces différents éléments expliquent en partie le fait que ce
type d’évaluation « a le vent en poupe » en France depuis quelques années.
17
Ces biais correspondent à des problèmes pouvant fausser l’estimation statistique mise en œuvre pour l’évaluation du fait
des observations formant l’échantillon, certains pouvant être corrigés (caractéristiques observables), d’autres non
(caractéristiques non observables).
18
En effet, les individus qui bénéficient effectivement du programme représentent seulement une partie des bénéficiaires
potentiels.
13
Dans les faits, au-delà des méthodologies adoptées, l’évaluation peut intervenir dans deux
configurations principales dans le champ des actions ou des politiques publiques : (i) dans des
évaluations de politiques publiques proprement dites, (ii) dans le cadre de missions
d’assistance et de conseil à la mise en place de dispositifs visant à permettre ou préparer des
évaluations « futures » (qu’elles correspondent à des évaluations internes ou externes).
1.2.2 Evaluation managériale vs évaluation participative
Selon une dichotomie un peu caricaturale, l’EPP de type managériale serait assurée d’une plus
grande efficacité de par son optique opérationnelle, tandis qu’une EPP participative aboutirait
à un processus plus démocratique par l’intégration d’un grand nombre d’acteurs au processus
délibératif. Trosa (2003) souligne cependant que le premier type d’évaluation peut se révéler
plus « indépendante » de par la situation de l’évaluateur, tandis que le second peut aboutir à
une neutralisation des acteurs.
1.2.3 Quel impact des évaluations de politique publique ?
Le rapport pour le Sénat de Bourdin, André et Plancade (2004), rappelle les différentes
finalités d’une EPP. Idéalement, une évaluation :
1. favorise la transparence, l’exercice de la démocratie, l’accountability (fait de « rendre des
comptes »)
2. assure une finalité de « gestion » : une plus grande rationalité dans la gestion des moyens et
des ressources humaines
3. permet la décision, comme elle oriente les mesures publiques.
4. joue en faveur de l’apprentissage de la formation et de la mobilisation des agents publics
5. encourage la convergence des points de vue et la coopération des différents acteurs d’un
processus d’évaluation.
Certaines de ces finalités plaident pour un « système d’évaluation ouverte » et donc une
démocratie plus participative (transparence, pluralisme et respect des différences des acteurs).
Le rapport évoqué ci-dessus défend par exemple le principe d’un « haut niveau de
participation des citoyens ».
14
En pratique, l’impact de l’évaluation sur la décision publique est souvent jugé faible :
rarement les choix publics seraient modifiés à la suite d’un résultat d’EPP. En effet,
l’évaluation introduit une dimension de jugement (la politique appliquée a-t-elle a un
impact ?/dans quelle mesure ?), comme l’illustre cette définition présente dans le rapport
Viveret (1989) : « Evaluer une politique publique, c’est former un jugement sur sa valeur ».
Mais, comme souligné par rapport pour le Sénat de Bourdin, André et Plancade (2004), les
recommandations ne sont pas toujours considérées ni appliquées, les suites d’une EPP étant
très rares. Une première raison peut tenir au manque de volonté politique de tenir compte de
résultats d’une EPP pour, le cas échéant, modifier ou ré-orienter une mesure publique, ce qui
rejoint la problématique de la responsabilité politique vis-à-vis des actions menées 19. Une
seconde explication peut venir du fait que les objectifs des politiques publiques peuvent
souvent se révéler ou apparaître imprécis ou ambigus20.
Cependant, comme le soulignent par exemple Trosa (2003) ou Perret (2003), les
évaluations exercent une influence plus indirecte ou de moyen/long terme, mais essentielle,
sur l’appropriation des enjeux des actions publiques: (i) en permettant la diffusion des idées et
une plus grande mobilisation des fonctionnaires, (ii) en favorisant la transparence de l’action
publique (rôle du rapport public), et (iii) en encourageant l’émulation collective (notamment
par le partage d’informations et par la convergence des représentations).
Finalement, l’évaluation des politiques publiques peut également générer un certain nombre
d’effets négatifs ou pervers. Nous en livrons ci-dessous quelques-uns.
Tout d’abord, une EPP peut être instrumentalisée par le politique : l’interprétation non
nuancée (voire erronée) de certains de ses résultats peuvent servir à la « justification » d’une
action publique a posteriori ou même a priori comme cela a par exemple été avancé par
Gomel et Serverin (2009) pour le cas de l’expérimentation RSA (se rapporter à la section 2.3
ci-dessous).
De plus, une action publique faisant l’objet d’une évaluation court le risque d’être uniquement
abordée par le prisme de la « performance » ou de « l’efficacité comptable ». Ce reproche est
couramment adressé à la LOLF, comme on l’expose ci-après en section 2.2. Certaines
administrations, dont l’efficacité est évaluée à travers certains indicateurs de performances, se
voient ainsi accusées de faire une politique « du chiffre », et d’évaluer les services des
administrations ou les individus uniquement à travers ces indicateurs : « Le droit devient un
instrument du management »21.
19
L’étude de Verdier (2006) revient sur cette problématique à propos de l’évaluation d’un contrat de plan Etat-Région
commanditée par une grande région française : « le directeur général des services du Conseil Régional prend d’ailleurs le
soin d’expliquer aux deux experts extérieurs qu’il est hors de question que la légitimité politique du président acquise
auprès du suffrage universel puisse être, de quelconque manière, perturbée par l’évaluation » (p. 67).
20
C’est par exemple une des conclusions du rapport de la Cour de Comptes (2002) sur la politique de la ville :
« l’imprécision des objectifs rend difficile l’appréciation de l’efficacité de la politique de la ville ».
21
Citation d’un intervenant du colloque « La Statistique Publique, un bien public original », organisé par les syndicats CGT,
CFDT et SUD de l’INSEE, 30 mars 2011, Paris.
15
Enfin, la montée en charge de l’évaluation en France, si elle apporte une culture de l’efficacité
dans l’administration, nécessite des moyens humains et financiers croissants. Du point de vue
de la statistique publique, il est ainsi rapporté par certains fonctionnaires de l’INSEE que les
travaux liés à l’évaluation prennent un part croissante dans les travaux qui sont menés dans
cette institution, au détriment de la production de données et des études plus classiques22.
L’EPP n’est pas neutre, et est pleinement un instrument politique. Des règles de « bonne
pratique » sont, à ce sujet, proposées par la Société Française de l’Evaluation23 à travers une
Charte de l’Evaluation (2006). Cette Charte insiste sur l’impartialité nécessaire dans la
conduite de l’évaluation, du respect des « droits, de l’intégrité et de la sécurité de toutes les
parties concernées », de la transparence et de la responsabilité.
2 Les pratiques d’évaluation : expériences françaises
Dans cette partie, on s’attache tout à présenter l’architecture ainsi que les acteurs de
l’évaluation en France, puis on revient sur certaines expériences françaises récentes
d’évaluation, toutes liées à des politiques d’ampleur sur le plan économique et social.
Notons, au préalable, que la comparaison des pratiques françaises d’évaluation par rapport à
celles du monde anglo-saxon fait apparaître (Perret, 2003 ; Trosa, 2003) : (i) des pratiques
moins développées et moins intégrées au fonctionnement des administrations, (ii) une
expertise sectorielle de qualité (notamment dans les corps d’inspection des administrations),
(iii) des pratiques plus participatives, avec une plus grande intégration de représentants de la
société civile dans ces pratiques, même si depuis les années 1990, les deux modèles tendent à
converger.
2.1 Les acteurs et le cadre légal de l’évaluation en France
2.1.1 L’architecture de l’évaluation en France
Le tableau 2 ci-après présente les principaux acteurs de l’évaluation en France.
Principalement, trois types d’organismes ou d’institutions interviennent sur les questions
d’évaluation de politique publique : (i) certains administrations centrales ainsi que le pouvoir
parlementaire. Parmi les administrations centrales, on peut par exemple citer certains services
(inter-)ministériels, la Cour des Comptes ou encore le Centre d’Analyse Stratégique
(anciennement Commissariat Général du Plan) ; (ii) des administrations locales, souvent en
collaboration avec des services de l’Etat (par exemple, dans le cadre d’évaluations de contrats
de plan Etat-Région ou des Comités d’évaluation de la politique de la ville) ; (iii) d’autres
22
Colloque « La Statistique Publique, un bien public original », organisé par les syndicats CGT, CFDT et SUD de l’INSEE,
30 mars 2011, Paris.
23
Cf. page 19 de ce document pour une brève description de la Société Française de l’Evaluation.
16
organismes « divers », qu’ils soient des instituts indépendants (OFCE, IRES, COEREXECODE par exemple) ou bien des prestataires privés (cabinets de conseils spécialisés en
audit et/ ou stratégie d’entreprise, développement économique, évaluation…).
Beaucoup d’entités parmi lesquelles beaucoup d’administrations centrales sont présentes dans
l’architecture nationale de l’évaluation. La France, du point de vue de l’évaluation, est
néanmoins caractérisée par une assez grande mouvance institutionnelle : beaucoup d’entités
apparaissent puis disparaissent quelques années plus tard24. A l’exception notable de certains
corps d’inspection interministériels et de la Cour des Comptes 25 , les administrations
interviennent surtout en tant que commanditaires des évaluations. La réalisation de ces
évaluations incombe le plus souvent à des cabinets privés, plus ou moins spécialisés sur la
thématique de l’EPP (cf. infra). Tourmen (2008) distingue ainsi deux emplois-types liés à
l’évaluation : (i) les « responsables d’évaluation », fonctionnaires en charge de la commande
publique, du suivi des démarches d’évaluation, (ii) les « évaluateurs », consultants, experts
indépendants et fonctionnaires (évaluateurs internes).
De plus, si beaucoup d’instances publiques interviennent à des degrés divers sur les questions
d’évaluation, celles-ci ne sont pas toujours une priorité face à des missions qui relèvent plus
de la gestion ou du contrôle. C’est par exemple le cas, selon le rapport de Bourdin, André et
Plancade (2005), de la Cour des Comptes (et des Chambres Régionales des Comptes) : celleci publie chaque année un rapport public, le rapport sur les lois de financement et les lois de
financement de la sécurité sociale, ainsi que, de plus en plus, des rapports publics sur des
sujets particuliers. Le rapport plaide pour la création d’un département spécialisé en
évaluation à la Cour des comptes, son activité étant jugée insuffisante en termes d’évaluation
(même si cette activité est en croissance constante).
Des procédures d’évaluation existent à l’échelon local, majoritairement dans le cadre de
partenariat collectivité locale - Etat central (voir infra : les obligations d’évaluation), mais le
rapport défend l’idée, à l’échelon local, d’organes et de procédures d’évaluation spécifiques
des politiques publiques locales. Le même rapport discute également : (i) de la confidentialité
associée aux travaux des services ou des corps d’inspection ministériels (la diffusion publique
se faisant à la discrétion des ministres), (ii) du caractère fermé des thématiques des
évaluations réalisées.
24
Ainsi, il existait il y a encore quelques années un Conseil National de l’Evaluation qui était chargé de décider d’un
programme d’évaluation et de formuler un avis. En relation avec le Commissariat Général du Plan (actuellement Centre
d’Analyse Stratégique), cela aurait permis néanmoins une plus grande diffusion de la culture d’évaluation en France, plus
de plus de transparence sur ces question, ainsi qu’une plus grande diversification des commanditaires. Le rapport de
Bourdin, André et Plancade (2004) souligne cependant que le Conseil National de l’Evaluation présentait une structure
relativement « figée », notamment pour intervenir sur des sujets controversés ou variés.
25
Il existe aussi couramment des services d’évaluation et de prospective intégrés dans les administrations centrales ou locales
(par exemple, dans certains Conseils régionaux). Mais ceux-ci, ne font pas nécessairement office d’évaluateurs, même si ils
détiennent des compétences en EPP.
17
Certaines évaluations sont réalisées par des instituts indépendants (OFCE, CEPII, etc.) : le
rapport de Bourdin, André et Plancade (2005) souligne également leur manque de moyens
récurrents.
Un Conseil Scientifique de l’Evaluation (CSE) créé en 1990 était chargé de conseiller les
évaluateurs et de « contrôler la qualité de l’évaluation des politiques publiques
interministériels » (Trosa, 2003, p. 17). Il souffrait néanmoins à la fois d’un manque de
moyen et de soutien politique, et d’une gouvernance qui laissait surtout libre court aux
initiatives individuelles dans les choix d’évaluation (Trosa, 2003). Le CSE est remplacé en
1998 par le Conseil National de l’Evaluation (cf. note de bas de page n°1, p. 18) mais ce
dernier fut abandonné en 2001. A l’initiative d’une grande diversité d’acteurs de l’évaluation
(décideurs, chercheurs, politiques), la Société Française de l’Evaluation est créée en 199926.
Cette association qui rassemble en son sein commanditaires, chercheurs, consultants se charge
de contribuer au développement de l’évaluation en France, notamment en diffusant les
« bonnes pratiques ».
26
Voir à ce sujet le rapport de stage de Challus (2010).
18
Tableau 2. L’architecture actuelle de l’évaluation en France (responsables d’évaluation et évaluateurs)
Acteurs
Institution / organisme
Exemples d’institution ou moyen d’action de cette institution
Services ministériels ou rattachés à
des ministères
Services d’inspection ministériels
Par exemple, la Direction de l’Animation de la Recherche et des Etudes Statistiques
(DARES)
Inspection Générale des Finances (IGF), Inspection Générale des Affaires Sociales
(IGAS),
Centre d’Analyse Stratégique (place auprès du Premier Ministre)
Rôle / remarques
Gestion, Statistiques, Evaluation en propre ou commande à des prestataires
publics ou privés
Missions de contrôle pouvant comporter une part d’évaluation
Mène des travaux d’évaluation, de prospective sur les politiques de l’Etat, des
collectivités locales, des établissements publics.
Secrétariat d’Etat à la Prospective et à l’évaluation des Politiques Publiques
Cour des Comptes et Chambres Régionales des Comptes
Missions d’évaluation et de contrôle (MEC) et Missions d’évaluation et de contrôle
des lois de financement (MECSS) - Assemblée Nationale
Administration
Centrale et Pouvoir
Parlementaire
Comité d’évaluation des politiques publiques du Sénat
Parlement
Certaines Autorités administratives
indépendantes
Comité d’évaluation et de contrôle des politiques publiques (CEC)
LOLF : débat d’orientation budgétaire, Projet de Loi de Finances, Projet de Loi de
Règlement (existence de rapports sur l’exécution des Lois de Finances et des Lois de
Financement de la Sécurité Sociale)
Offices spécialisés Par exemple, Office Parlementaire d’Evaluation des Choix
Scientifiques et Techniques (OPECST), Office parlementaire d’évaluation de la
législation, Office parlementaire d’évaluation des politiques de santé
Par exemple, Agence d’évaluation de la recherche et de l’enseignement supérieur
(AERES), Observatoire français de la drogue et de la toxicomanie (OFDT)
Société Française de l’Evaluation (SFE)
Evaluation des programmes structurels européens
Administration
territoriale
Conseils Régionaux et Communes
(souvent en concours avec
l’administration centrale)
Instituts indépendants
Autres Organismes
Contrats de projet Etat-Région (CPER, anciennement Contrats de plan Etat-Région)
Comité d’Evaluation de la Politique de la Ville
Missions d’information et d’évaluation
Exemple : Institut de Recherche Economique et Social (IRES), Office Français des
Conjonctures Economiques (OFCE), Centre d’Etudes et Prospectives et
d’Informations Internationales (CEPII), Centre d’Observation Economique et de
Recherche pour l’Expansion de l’Economie et de le Développement des Entreprises
(COE-REXECODE)
Prestataires privés
Entreprises, Cabinets de Conseil et d’Audit
Académiques
Laboratoires de recherche
Contrôle de régularité des comptes publics ainsi que certaines
évaluations de politiques
Contrôlent et évaluent respectivement les fonds publics et l’application des
lois de financement de la sécurité sociale
Evaluation de politiques publiques avec l’aide, le cas échant, d’experts
extérieurs, sous la responsabilité de parlementaires
Depuis 2009, production de rapports sur des politiques mises en oeuvre
Le cadre de la LOLG « intervient » à différents moments de l’existence
de la loi de finances
Instances spécialisées communes au Sénat et à l’Assemblée Nationale.
Organismes d’évaluations liés à certains ministères
Association cherchant à promouvoir l’évaluation
Ces programmes permettent le fonctionnement de programmes régionaux et
sont évalués conjointement entre Etat et Régions bénéficiaires
Suivis par la Délégation Interministérielle à l’Aménagement du Territoire et à
l’Attractivité Régionale (DATAR), en concours avec les Régions
Membres de ce comité : administrations de l’Etat, directeurs de projets ville,
élus locaux…
Pour les communes de plus de 50 000 habitants
Certains bénéficient de subventions publiques (CEPII), d’autres bénéficient
uniquement de fonds privés sous statut d’association (COE-REXECODE)
De l’évaluation comme spécialité à l’évaluation comme partie de compétences
plus larges
Certaines équipes de recherche, ou certains chercheurs
19
Critiquant l’architecture de l’évaluation en France, le rapport de Bourdin, André et Plancade
(2005) préconise une nouvelle architecture qui reposerait sur une plus grande diversité
d’acteurs, et la création d’un échelon supplémentaire correspondant à des organismes
pluralistes formés ad hoc comme animateurs des projets d’EPP. Le rapport souligne la trop
faible diffusion de la culture de l’évaluation en France : cela s’expliquerait notamment par un
« effacement relatif du Parlement par rapport à l’exécutif » (cela étant à nuancer par la
présence des instances d’évaluation et de contrôle des deux assemblées – se rapporter au
tableau 2) et « une organisation administrative en pyramide », sans compter des droits de la
minorité politique au Parlement jugés relativement restreints sur cette thématique.
La mise en place de la Loi Organique sur les lois de finance (LOLF) a instauré un cadre à
l’évaluation des actions publiques mises en oeuvre et a notamment fourni pour cela des outils
de contrôle et d’évaluation aux parlementaires (cf. infra). Néanmoins, il est à noter que dans
le cadre d’une réflexion sur la modernisation des institutions, le Comité Balladur (se rapporter
à Comité de réflexion et de proposition sur la modernisation et le rééquilibrage des
institutions de la Vème république, 2007) formule plusieurs propositions qui donneraient
(encore) plus de poids au Parlement dans sa mission d’EPP :
- « une semaine de séance sur quatre est réservée au contrôle de l’action du gouvernement et
à l’évaluation des politiques publiques » (proposition n° 22)
- le parlement serait assisté « dans ses fonctions de contrôle et d’évaluation des
administrations, par la Cour des Comptes » (proposition n° 42)
- le rapport suggère de créer au sein de chaque assemblée « une instance qui pourrait être
dénommée comité d’audit parlementaire » chargée d’organiser les activités de contrôle et
d’évaluation (proposition n° 43).
2.1.2 L’offre et la demande d’évaluation : les acteurs de l’évaluation et
les obligations légales
La demande (ou « maîtrise d’ouvrage ») d’évaluation de politique publique est principalement
le fait des administrations publiques 27 . Plus précisément, les organismes publics peuvent
procéder à des EPP, soit par obligation, soit par choix, hors de toute contrainte institutionnelle.
27
On peut également considérer qu’il existe une demande « latente » d’évaluation de la part des acteurs sociaux ou privés
(qui pourrait exister jusqu’à ce que ces acteurs se dotent de leur propre capacité d’évaluation).
20
Certaines évaluations relèvent de l’obligation. Quelles sont les politiques publiques soumises
à évaluation 28 ? Les années 2000 constituent certainement une période charnière, comme
l’illustrent les nombreuses dispositions législatives promulguées sur cette période.
De longue date, l’impact des programmes d’aide et de développement européens 29 qui
s’adressent aux collectivités territoriales doit être évalué. Dans les années 1990, plusieurs
obligations d’évaluation sont instituées. La loi quinquennale du 20 décembre 1993 relative au
travail, à l’emploi et à la formation professionnelle prévoyait ainsi un rapport d’évaluation de
la loi à mi-étape. En 1999, le premier ministre retient dans son programme d’évaluation celle
du dispositif « emplois jeunes »30 mis en place en 1997. La loi d’orientation du 29 juillet 1998
relative à la lutte contre les exclusions prévoit également qu’un bilan soit présenté tous les
deux ans au Parlement31.
Plus récemment, dans les années 2000, la politique de la ville, à travers les Contrats Urbains
de Cohésion Sociale (CUCS) qui remplacent en 2006 le contrat de ville, se voit également
soumise à une obligation d’évaluation32.
De même, aux contrats de projet (auparavant contrats de plan) Etat-Région qui concernent la
programmation pluri-annuelle de grands projets, est également associée une obligation
d’évaluation 33 . Les expérimentations sociales qui sont mises en oeuvre en France depuis
quelques années (cf. infra et supra) allient quant à elles à la fois politique économique/sociale
et évaluation de cette politique34.
Depuis la mise en application pratique en 2006 de la Loi Organique relative aux Lois de
Finances (LOLF), les dépenses de l’Etat font l’objet d’un contrôle et d’une évaluation
formalisée (notamment à travers des évaluations commanditées par les missions
parlementaires de contrôle et d’évaluation). La LOLF peut représenter un cadre pour l’EPP
(une présentation plus complète de cette loi organique et de ses enjeux est proposée plus bas).
Il est à noter qu’à l’occasion de la création de Pôle Emploi suite à la fusion entre les Assedic
et l’ANPE (2008), est fixé le principe d’un Comité d’évaluation des actions de cette nouvelle
institution. Dans les faits, ce Comité d’évaluation mis en place dès le mois d’Avril 2009 se
28
On présente principalement les obligations d’évaluation actuellement en vigueur. Mais on peut par également noter que
l’obligation légale d’évaluation du Revenu minimum d’insertion (RMI) a été inclue dans le dispositif de la loi du 1er
décembre 1988 qui l’institue. Une commission indépendante chargée de l’évaluation du RMI a ainsi été créée en 1989 (voir
Bouchoux, Houzel et Outin, 2005).
29
Depuis 1988, les fonds structurels européen sont en effet soumis à évaluation de leur impact.
30
Voir le rapport d’évaluation du Conseil National de l’Evaluation et du Commissariat Général du Plan (2001).
31
Consulter sur ce sujet le rapport de l’Inspection générale de l’administration de l’éducation nationale et de la recherche et
de l’Inspection générale des affaires sociales, IGAENR-IGAS (2007).
32
Comme le précisent les circulaires du 24 Mai et du 15 Septembre 2006.
33
La Commission parlementaire du développement durable et de l’aménagement du territoire (anciennement Délégation
parlementaire du développement durable et de l’aménagement du territoire) en a la charge.
34
De ce point de vue, l’évaluation peut elle-même être appréhendée comme une politique publique.
21
réunit tous les mois. Un bilan d’étape est porté par la Direction Générale, chaque année,
devant le Conseil d’Administration, qui définit les orientations générales sur l’évaluation35.
Par ailleurs, la Loi organique du 16 Avril 2009 stipule que « les projets de loi font l’objet
d’une étude d’impact » (article 8), ce qui est entendu par des « travaux d’évaluation préalable
réalisés et comportant une estimation des conséquences économiques, financières, sociales et
environnementales des réformes engagées » (Direction de l’information légale et
administrative). Il s’agit donc de l’instauration d’évaluations ex ante systématiques.
Plus récemment encore, la loi du 24 novembre 2009 institue l’obligation d’évaluation pour les
opérateurs et financeurs de l’Etat qui interviennent dans les domaines de l’emploi et des
compétences : une compétence d’évaluation est attribuée de plein droit au Centre national de
la formation professionnelle tout au long de la vie (CNFPTLV)36. Cependant, la loi du 24
Novembre 2009 reste très imprécise sur le financement de ces évaluations, comme ont pu
l’exposer les intervenants d’un Colloque sur cette thématique qui s’est déroulé à Rennes le 11
Février 2011. Toujours sur les questions d’emploi et de compétences, le CEREQ conduit des
travaux d’EPP aux niveaux régionaux, nationaux et européens37.
De plus, la circulaire du 26 mars 2010 relative au pilotage stratégique des opérateurs de l’Etat
ainsi que le 4ème Conseil de modernisation des politiques publiques du 30 juin 2010 énoncent
l’objectif d’« appliquer dès 2011 les mêmes règles de gestion aux opérateurs que celle de
l’Etat », i.e. notamment, le renforcement d’outils de suivi et de prévision, et l’auto-évaluation.
Enfin, le 3 février 2011 est promulguée la loi « tendant à renforcer les moyens du Parlement
en matière de contrôle de l’action du Gouvernement et d’évaluation des politiques publiques38».
Certaines évaluations ne relèvent pas de l’obligation mais de l’initiative individuelle, comme
exemple le cas d’une collectivité qui souhaiterait mettre en place un système d’évaluation de
son activité pour appliquer (à sa discrétion) certains des principes de la LOLF. Comme on l’a
déjà souligné dans la première section, la loi constitutionnelle du 28 mars 2003 inscrit dans la
Constitution la possibilité d’expérimentation au niveau local39. Cette loi organique ouvre la
voie à plusieurs expérimentations sociales dès 2003, dont l’expérience d’accompagnement
35
En 2011, une dizaine d’évaluations sont engagés, centrées par exemple sur les thèmes de la formation, de
l’accompagnement renforcé, des emplois aidés, sur l’expérience « CV anonyme ».
36
Le CNFPTLV est un organisme géré par l’Etat, les partenaires sociaux et les Conseils Régionaux créé en 2004.
37
Il s’agit de l’évaluation des programmes européens Socrates et Leonardo da Vinci, de l’évaluation des dispositifs et des
mesures ciblés à l’intention des jeunes (orientation et insertion des jeunes, emploi), et de l’animation de l’évaluation des
politiques régionales de formation.
Actuellement, dans le cadre des expérimentations jeunes lancées par Martin Hirsch dans le cadre du Haut Commissariat à la
Jeunesse, plusieurs projets d’évaluation sont en cours sur ces questions d’emploi et de compétence.
38
Cette loi prévoit le saisissement possible de la Cour des Comptes pour l’évaluation d’une politique publique à la demande
de l’Assemblée Nationale ou du Sénat.
39
Notons sur ce point un passage du rapport d’information de l’Assemblée nationale réalisé par la Mission d’information
commune sur l’évaluation des conséquences économiques et sociales de la législation sur le temps de travail (voir Rapport
d’information de l’ Assemblée Nationale, 2004) : « M. Jean Pisani-Ferry a regretté que la France n’ait pas l’habitude de
procéder à des expérimentations régionales avant de mettre en œuvre des politiques nationales, et souhaité que la mise en
place des politiques publiques soit précédée de phases d’expérimentations » (p. 134).
22
renforcé de demandeurs d’emploi par l’Unédic et l’ANPE (2006-2008) et l’expérimentation
RSA (2007-2008) menée sur plusieurs territoires « pilotes » avant sa généralisation au niveau
national (cf. infra). A l’heure de la rédaction de ce document, plusieurs dizaines
d’expérimentations sont en cours sur le territoire français, notamment dans le cadre d’Appels
à Projets lancés par le Haut Commissariat à la Jeunesse (HCJ, cf. infra).
Certaines évaluations peuvent être considérées comme des « approfondissements », ou sont
réalisées à la suite de mission d’audit ou de contrôle comme celles de la Cour des Comptes,
ou de services (inter-) ministériels (par exemple : certaines missions de la DARES pour les
ministères de l’Economie ou du Travail, ou de la DEEP40 pour l’Education Nationale). A
l’initiative de responsables administratifs ou politiques, ces missions peuvent se trouver « à la
croisée des chemins », entre « obligation » et « possibilité ».
Si les maîtres d’ouvrage des évaluations des politiques publiques (« la demande ») sont les
organismes publics, les principaux maîtres d’œuvre de ces évaluations (« l’offre ») sont, en
plus des services spécialisés des administrations centrales ou locales et de certains
laboratoires ou chercheurs académiques 41 , des cabinets de conseil ou d’étude privés. Ces
cabinets privés sont le plus souvent des entreprises intervenant sur le marché de l’audit, de la
stratégie d’entreprise, du développement économique local, etc. En d’autres termes,
l’évaluation n’est souvent qu’une des compétences parmi d’autres de ces cabinets privés, qui
sont le plus souvent des petites structures42.
2.2 La LOLF : un cadre pour l’évaluation des politiques publiques ?
2.2.1 Le contexte d’élaboration de la LOLF
La loi organique relative aux lois de finances (LOLF) du 1er Août 2001 réforme le budget de
l’Etat en le dotant de ce qui est souvent désigné comme une « constitution financière ».
Appliquée pour la première fois en 2006, cette loi organique a bénéficié d’un rare consensus
politique et s’est imposée dans un contexte de déficit et de dette publics extrêmement élevés43.
La LOLF fournit un « cadre » pour l’évaluation des politiques publiques (cf. infra), mais elle
peut également être assimilée à une politique publique structurelle visant à rendre plus
efficace le fonctionnement de l’Etat central. Elle fait suite à quelques précédentes initiatives
peu concluantes ayant tenté d’instaurer des procédures systématiques d’évaluation dans le
secteur public comme celle de la Rationalisation des Choix Budgétaires (RCB) en 1966, mais
également à d’autres initiatives liées à l’évaluation, comme certaines du gouvernement
40
Direction de l’Evaluation, de la Prospective et de la Performance.
L’Ecole d’Economie de Paris et le Centre de Recherche en Economie et Statistiques (CREST) regroupent de nombreux
chercheurs travaillant sur les questions d’évaluation de politiques publiques.
42
Quelques dizaines de collaborateurs tout au plus pour la plupart.
43
La LOLF est vue de ce point de vue comme une aubaine : en favorisant l’efficacité et la performance, elle permettrait de
recouvrer des marges de manœuvre dans l’exercice des politiques publiques.
23
41
Rocard (tel le Rapport Viveret de 1989 : L’évaluation des politiques et des actions publiques).
Elle fait s’inscrit également comme un cadre structurant qui complète les obligations
légales d’évaluation déjà existantes (cf. supra).
2.2.2 Le contenu de la LOLF
La LOLF précise les modalités de préparation, de vote, d’exécution et de contrôle du budget
de l’Etat. Elle constitue une rupture avec l’ordonnance de 1959 qui instituait une
différenciation entre mesures nouvelles et services votés44 : désormais, il y a discussion au
Parlement « dès le premier euro ». La LOLF présente une architecture pour le budget de l’Etat
déclinée en trois niveaux : missions, programmes et actions (cf. tableau 3)
Tableau 3. Missions, Programmes et Actions dans la LOLF (2001)
Missions
Programmes
Actions
grandes politiques mobilisant un ou plusieurs ministères
cadre de mise en œuvre des politiques au sein d’un ministère
y sont associés des objectifs et des indicateurs de performance
servant à mesurer le degré d’atteinte de ces objectifs
une action concerne la destination des crédits
Au sein d’un programme, le gestionnaire est libre de redéployer les crédits (fongibilité) entre
les « titres » (destination des dépenses : dépenses de personnel, de fonctionnement, etc.), tout
en respectant le plafond voté pour les dépenses de personnel (fongibilité asymétrique).
La pluri-annualité est consacrée par l’existence d’« autorisations d’engagement » qui
correspondent aux limites supérieures des dépenses pouvant être engagées, les « crédits de
paiement » représentant les limites supérieures des dépenses pouvant être payées durant
l’année.
La liste des missions, programmes et indicateurs de performance associés à chacun des
programmes est présentée dans le rapport d’orientation sur l’évolution de l’économie
nationale et l’orientation des finances publiques remis par le gouvernement au Parlement lors
du débat d’orientation budgétaire en vue du projet de loi de finance de l’année45. D’autres
documents favorisent la transparence ou l’efficacité de la dépense publique. Parmi ceux-ci, le
projet annuel de performance (PAP) complète les annexes explicatives par ministère qui
accompagnent le projet de loi de finances, et précise pour chaque action, les coûts associés,
44
45
Le Parlement reconduisait ainsi une majorité de crédits, plus de 90%, en un seul vote : les services votés.
Le Parlement a gagné un droit d’amendement : il peut transférer des crédits d’un programme à un autre.
24
les objectifs 46 poursuivis, les résultats déjà obtenus et attendus pour les années à venir,
mesurés au moyen d’indicateurs de performance justifiés, associés aux programmes (670
objectifs et 1392 indicateurs de performance ont été ainsi définis en 2006). Les objectifs de
performance de programmes sont intégrés aux budgets opérationnels de programme (BOP)47
en adaptant les politiques publiques en fonction des besoins spécifiques des territoires48. De
plus, un rapport annuel de performance (RAP) est joint au projet de loi de règlement (PLR), et
permet au Gouvernement et au Parlement d’évaluer les résultats et d’en tirer des
conséquences pour les « choix futurs » de l’action publique. Le rapport de Arkwright, de
Boissieu, Lorenzi et Samson (2007) parle d’un « chaînage vertueux’ entre la loi de règlement
de l’année n-1 et la loi de finances de l’année n+149.
2.2.3 Les justifications de la LOLF
Parmi les justifications de la LOLF sont l’impulsion de plus de transparence et d’efficacité
dans l’action de l’Etat, et une meilleure évaluation de l’impact des politiques publiques. Le
dispositif est en effet construit autour d’indicateurs de performance et le budget de l’Etat est
désormais plus axé sur les politiques publiques menées que sur la nature des dépenses. La
diffusion de la culture et des pratiques de performance modifie elle-même la mise en œuvre
des politiques publiques, la performance permettant un meilleur pilotage de l’action publique.
La transparence est un impératif pour évaluer les politiques publiques : le rapport de
Arkwright, de Boissieu, Lorenzi et Samson (2009) souligne que « l’explication des objectifs
poursuivis par le gouvernement » est de ce point de vue « un préalable à tout exercice
d’évaluation des politiques publiques. ». De plus, la LOFL favoriserait la cohérence
intertemporelle de la politique budgétaire (la continuité des politiques menées) et permettrait
au décideur public de faire des arbitrages plus optimaux, les choix publics se situant à horizon
plus lointain. Cela se faisant au bénéficie de la crédibilité des engagements politiques.
2.2.4 Les effets de la LOLF
La mise en place de la LOLF entraîne de facto une modification profonde de la Gestion
Publique (Arkwright, de Boissieu, Lorenzi et Samson, 2009). Outre la réorganisation
administrative 50 « imposée » par la LOLF, une plus grande place est accordée à
l’individualisation de l’évaluation/de la rémunération de l’agent public (une difficulté étant
46
Le Guide de la Performance est un document méthodologique destiné à l’application de la LOLF. Celui-ci distingue 3
types d’objectif : (i) les dispositifs d’efficacité socio-économique (bénéfices attendus pour le citoyen et la collectivité), (ii)
les objectifs de qualité de service, (iii) les objectifs d’efficience de gestion.
47
Les budgets opérationnels de programme correspondent à la déclinaison sur le terrain des programmes votés.
48
Les objectifs opérationnels des gestionnaires de BOP sont fixés par des indicateurs directs ou indirects (indicateurs
intermédiaires).
49
Le projet de loi de règlement de l’année n-1 doit être voté avant le lancement du débat du projet de loi de finance (PLF) de
l’année n+1. L’analyse de l’efficacité de chaque programme est ainsi placée au cœur du débat sur l’allocation des crédits au
titre de l’année n+1 dans le cadre du PLF.
50
La LOFL et l’organisation administrative qu’elle entraîne ne sont pas sans générer de potentiels écueils, en termes
d’alourdissement des coûts, de problème de coordination, ou de multiplicité des instances et de leur prérogative (cela
pouvant générer des problèmes de gouvernance).
25
d’identifier la contribution de chaque agent public à l’accomplissement d’un objectif luimême approché par un indicateur). Dans les budgets, la masse salariale est limitée à un
plafond des dépenses. Cela renvoie à la nécessité par l’administration de développer une
gestion prévisionnelle de l’emploi et des compétences (GPEC), dont la mise en oeuvre est
encore peu approfondie. Le rapport de Arkwright, de Boissieu, Lorenzi et Samson (2009)
souligne que la mise en œuvre de la LOLF « amène à reconsidérer le dialogue social dans
l’Etat à un double point de vue » : (i) la LOLF déplace les centres de décision vers les
responsables de programme et de BOP et responsabilise les gestionnaires locaux (notamment
en termes de Ressources Humaines) : le dialogue social doit en conséquence s’adapter à cette
nouvelle répartition des responsabilités ; (ii) la performance est intégrée dans l’activité de
l’agent, tout comme la dimension « évaluation » sur laquelle serait basée la rémunération.
Engin, le rapport met en évidence que la LOLF pourrait porter en elle-même une contrainte de
réduction de la réduction de l’emploi public (de par la « fongibilité asymétrique »), ou bien
favoriserait le recrutement de contractuels et de vacataires au détriment de l’ouverture de
postes de fonctionnaires.
La LOLF a suscité beaucoup d’espoirs, que ce soit en termes d’efficacité des politiques
publiques, de marges de manœuvre de politique économique qu’elle permettrait de recouvrer,
ou encore d’une plus grande transparence. Le rapport d’Alain Lambert et Didier Migaud
(2006) au Gouvernement met en évidence plusieurs dysfonctionnements dans l’application de
la LOLF lors des premières années d’application :
- une complexification des processus budgétaires et financiers (nouvelles procédures, passage
de un à trois systèmes comptables) et de l’exécution de la dépense
- une grande lourdeur51 et une « bureaucratisation » de la gestion
- une inadaptation de la cartographie des BOP (ceux-ci seraient trop nombreux ce qui
entraînerait un émiettement des enveloppes de crédits)
- des indicateurs jugés « trop nombreux, insuffisamment fiables, parfois difficiles à renseigner
et pouvant, ponctuellement, biaiser la conduite de l’action publique » qui entraînent
également une crainte des agents publics que « la mesure de la performance soit
mécaniquement associée à une rémunération individualisée à la performance ».
A ces éléments, on peut également ajouter que l’intégration d’une culture de la
« performance » a pu heurter les valeurs des agents publics52. Si la dimension comptable,
financière et technique est bien intégrée, elle semble toutefois l’emporter sur la dimension
« managériale » (intégrer plus de culture managériale serait efficace) : de ce point de vue, la
51
Concernant l’évolution nécessaire des systèmes d’information, on peut noter l’exemple de la mise en place du progiciel
CHORUS qui doit assurer la convergence des systèmes de comptabilité budgétaire et publique de l’Etat et qui a déjà pris
beaucoup de retard.
52
Trosa (2003) souligne, à l’inverse, « le poids des conservatismes et des corporatismes » présent dans l’administration.
26
mise en place de la LOLF a pu être vécue comme un « management imposé » (instaurer par
exemple plus de participation des agents publics dans la définition des objectifs et les
indicateurs permettrait à la fois plus d’efficacité et de légitimité). De manière générale, les
acteurs de la LOLF, qu’ils soient politiques ou administratifs, s’accordent actuellement pour
le succès de « l’esprit de la LOLF ». Les jugements sur ses premiers résultats sont en
revanche plus contrastés53.
2.3 Retour sur quelques expériences d’évaluation en France
De manière générale, il existe une certaine montée en puissance des modes d’évaluation de
type participatif, avec une prédominance des approches méthodologiques quantitatives et
qualitatives. On doit noter, à ce titre, que de très nombreuses évaluations incorporées à des
expérimentations sociales sont actuellement en cours de réalisation dans le laboratoire du
CREST (Expérimentation Hauts de Seine, Ecole de la deuxième chance, CV Anonyme…).
Dans cette sous-section, on revient plus en détail : (i) sur certaines évaluations de politiques
ayant un impact potentiellement substantiel sur l’économie française (les évaluations ex ante
et ex post et des effets des Lois Aubry I et II sur l’emploi, les évaluations d’impact (ex ante)
du Grenelle de l’environnement), et (ii) sur certaines expérimentations sociales et sur les
évaluations qui leurs sont associées (l’expérience d’accompagnement renforcé des chômeurs,
l’expérimentation du RSA, l’expérimentation d’accompagnement de collégiens à la recherche
de leur premier stage).
2.3.1 Les évaluations des effets des Lois Aubry I et II sur l’emploi
Un débat politique très vif s’est cristallisé dans la société française suite aux les lois de 1998
et 2000 sur le passage légal de la durée du travail à 35 heures (lois dites Aubry I et II) : il
rejoint le débat scientifique qui a eu lieu. La première Loi Aubry est d’ordre incitatif et
comprend un volet offensif (création d’emploi) et un volet défensif (sauvegarde de l’emploi).
La seconde Loi Aubry rend obligatoire le passage aux 35 heures pour les entreprises de plus
de 20 salariés. Des allègements de cotisations sociales patronales dits « Aubry I » et « Aubry
II » sont prévus par les deux lois, sous conditions de durée du travail et de niveau de salaire.
Plusieurs particularités des Lois Aubry rendent difficile leur évaluation. Les négociations
d’accords de réduction du temps de travail au sein des entreprises se sont réalisées sur le
principe d’une compensation par la « modération salariale » et d’une réorganisation / d’une
plus grande flexibilité du travail54. De plus, l’impact des lois Aubry va dépendre de plusieurs
53
Par exemple, Michel Sapin, membre de la commission des finances à l’Assemblée Nationale et appartenant à l’opposition
parlementaire en 2011 juge « mitigé » le bilan de la LOLF. Ainsi, il perçoit le débat parlementaire comme plus transparent
et bénéficiant de l’appui de la Cour des Comptes. Il juge la gestion des administrations plus contrastée, la LOLF étant selon
lui « utilisée comme un outil pour dépenser moins », et note certains abus en termes de dépenses fiscales (par exemple, par
l’augmentation des niches fiscales depuis de nombreuses années).
54
D’où le nom de « ARTT » (Aménagement et réduction du temps de travail).
27
facteurs : les évolutions salariales, de la productivité, de la durée d’utilisation des
équipements, mais également de la manière dont sont financées les 35 heures55 (Gubian et al.,
2004). De manière plus générale, le cadre dans lequel ces lois s’appliquent est mouvant
(évolutions économiques et sociales, institutionnelles, etc.), ce qui rend difficile l’analyse de
l’effet net de l’action publique « toutes choses égales par ailleurs ».
Comme toute simulation de l’effet d’une politique publique effectuée à partir d’un modèle
économique, les évaluations ex ante de l’impact sur l’emploi des Lois Aubry I et II sont
conditionnées par les valeurs des paramètres et les scénarios choisis. Les interdépendances
sectorielles doivent également être prises en compte. Les premières simulations réalisées à
partir de modèles macroéconomiques en 1998 par l’OFCE et la Banque de France, puis par
l’OFCE aboutissent à une estimation de 450 000 à 700 000 emplois créés sous 5 ans 56
(Gubian et al., 2004).
En plus des raisons déjà évoquées ci-dessus et incitant à considérer avec nuance leurs résultats,
plusieurs difficultés marquent les évaluations ex post des Lois Aubry I et II : (i) la difficulté
de distinguer l’effet net du passage des 39 aux 35 heures, étant donné que la reprise de la
croissance mondiale (non anticipée) a joué favorablement sur l’emploi, (ii) la diversité dans
l’ampleur de la RTT selon l’avancement ou le choix des accords négociés dans les entreprises,
(iii) les difficultés techniques, comprenant l’accès à des données collectées ou exploitables par
l’INSEE ou la DARES, ainsi que les problèmes relevant de l’analyse statistique 57 . Deux
grands types de travaux sont menés pour évaluer ex post l’impact des 35 heures sur l’emploi.
Le premier type consiste en des études basées sur des données macroéconomiques
temporelles : il est procédé à la comparaison entre les séries d’emplois pour la période courant
depuis les lois Aubry et celles qui sont estimées à partir de données temporelles précédant ces
lois 58 . Les études existantes mobilisant cette méthode estiment un impact de 400 000 à
500 000 créations d’emploi (voir par exemple les revues de littérature de Gubian et al., 2004
ou d’Askenazy, 2005). Le second type de travaux mobilise des méthodes d’évaluation basées
sur des données microéconomiques obtenues par croisement de fichiers de différentes sources
administratives, et pour lequel sont comparées deux types d’entreprises. Crépon et al. (2004)
procèdent à une méthode d’appariement d’entreprises59. Bunel et Jugnot (2003) comparent les
effectifs des entreprises de Type « Aubry I » avec celles des entreprises restées aux 39 heures,
de taille et secteur équivalents. Ces études permettent d’estimer à plus de 350 000 le nombre
d’emplois créé sur la période 1998-2002 (Gubian et al., 2004).
55
Une réduction du chômage favorisant l’ « auto-financement » des allègements de charge.
Des simulations menées ultérieurement par la Direction de la Prévision puis par l’OCDE estiment à respectivement
510 000 et de 70 000 à 500 000 le nombre d’emplois qui seraient créés, selon l’horizon temporel et les scénarios retenus.
57
Parmi ceux-ci, la possible non prise en compte de biais d’auto-sélection dans la réduction du temps de travail. En effet, les
entreprises décidant d’une réduction de leur temps de travail peuvent être celles qui s’attendent à réaliser des gains de
productivité significatifs consécutifs.
58
Données d’emploi qui auraient été observés si le trend pré-existant aux lois se prolongeait sur la période suivant cette loi.
59
Il s’agit d’associer à chaque entreprise ayant procédé à une baisse du temps de travail, une entreprise qui avait la même
probabilité de réduire son temps de travail (d’après les caractéristiques observables), mais qui n’y a pas procédé (cette
dernière entreprise constitue le « contrefactuel »).
28
56
Pour Artus, Cahuc et Zylberberg (Rapport du Conseil d’Analyse Economique, 2007), les
nombreuses créations d’emplois de la période fin des années 1990-début des années 2000
s’expliquent surtout par le volet « baisse de cotisations » [i.e., ces créations ne sont pas le fait
de la « réduction du temps de travail » en tant que telle]. Ils utilisent pour cela le travail de
Crépon et Kramarz (2006) et concluent ainsi : « c’est vraisemblablement la réduction des
cotisations sociales sur les bas salaires et les gains de productivité par heure travaillée
induits par la flexibilité accrue du temps de travail qui ont permis aux lois Aubry de créer des
emplois. En tant que telle, la baisse de la durée légale de 39 à 35 heures a eu, au mieux, un
impact très marginal60 » (p. 65). Artus et al. (2007) évaluent de manière « séparée » les volets
« réduction du temps de travail » et « allégement de charges » ; néanmoins, il apparaît
légitime d’évaluer les lois Aubry I et II dans leur ensemble. En effet, les deux « volets » des
Lois Aubry représentent un « package » : c’est en contrepartie d’une négociation au sein des
firmes sur la réduction61 et la flexibilité accrue du temps de travail qu’étaient fournies des
allégements de cotisations sociales patronales. Les allégements de cotisations sont, de ce point
de vue, indissociables de la réduction du temps de travail.
Un rapport d’information de l’Assemblée nationale, réalisé par la Mission d’information
commune sur l’évaluation des conséquences économiques et sociales de la législation sur le
temps de travail en 2004, insiste sur les limites des études existantes sur la question62 et sur le
petit nombre d’institutions investies dans l’évaluation des Lois Aubry, tout en regrettant « que
la question de l’évaluation des conséquences des 35 heures n’ait pas été davantage anticipée
par les lois Aubry » (p. 131). Ce constat appliqué aux Lois sur les 35 heures peut être
généralisé à l’ensemble des politiques publiques, et peut constituer un des éléments explicatifs
de la mise en place de la LOLF, mais aussi de l’ensemble des lois des années 2000 établissant
une obligation d’évaluation pour certaines politiques publiques (cf. sous-sections 2.1. et 2.2.).
L’ensemble des travaux (méthodes, résultats) sur les lois Aubry illustrent bien la complexité
d’évaluation d’une politique générale63, et d’une politique qui n’est pas stabilisée (i.e. qui
évolue dans le temps).
Notons pour finir, le travail d’Askenazy (2003) : celui-ci souligne que la présence de certains
syndicats a influé de manière significative sur le choix des firmes de réduire le temps de
travail.
60
Cette analyse est très diversement appréciée dans les commentaires des discutants au sein même de ce rapport du Conseil
d’Analyse Economique.
61
Assortie d’une modération salariale.
62
Le rapport insiste ainsi de manière appuyée sur le fait que les effets sur l’emploi « nets » sont difficiles à évaluer.
63
Par rapport à une politique « ciblée » sur des populations particulières.
29
2.3.2 Les expérimentations d’accompagnement renforcé des chômeurs
par l’Unédic et l’ANPE
En 2006-2008, l’Unédic et l’ANPE ont procédé à des expérimentations de deux mesures
d’accompagnement renforcé de demandeurs d’emploi de 6 mois64 mises en œuvre : (i) par des
opérateurs privés de placement pour l’Unédic pour 41 000 demandeurs d’emploi, et (ii) par la
prestation « cap vers l’entreprise » (CVE) fourni par l’ANPE pour 40 000 demandeurs
d’emploi. Ces prestations étaient centrées sur des populations qui présentaient des risques
importants de chômage de longue durée.
Ces expérimentations sont menées sur un mode d’échantillonnage aléatoire, au cours duquel
les demandeurs d’emploi sont répartis aléatoirement entre 2 groupes : ceux qui bénéficient de
l’accompagnement classique de l’ANPE (groupe de contrôle), et ceux qui bénéficient d’une
des 2 mesures d’accompagnement renforcé (groupe test).
Les données utilisées pour évaluer l’impact de l’expérimentation sont des indicateurs de
l’ANPE, des enquêtes monographiques sur 8 territoires, ainsi qu’une enquête statistique
téléphonique menée par la DARES sur un échantillon représentatif de demandeurs d’emploi.
Les résultats de l’expérimentation montrent notamment qu’à l’horizon de 6 et 12 mois, les 2
programmes accroissent les sorties des listes de l’ANPE vers l’emploi, et que les demandeurs
d’emploi concernés se réinscrivent moins fréquemment sur les listes de l’ANPE au cours des
6 mois qui suivent leur sortie vers l’emploi. Le rapport de l’expérimentation souligne par
ailleurs que le taux de sortie vers l’emploi des demandeurs d’emploi accompagnés par les
OPP s’est accru de +5,6 points en moyenne, tandis que le taux de sortie suivi par les équipes
CVE s’est accru de +7,3 points. Ce point du rapport est important : l’accompagnement
renforcé fourni par l’ANPE aurait été plus efficace que celui fourni par les OPP. Il fait
néanmoins silence sur les conditions de mesure de cette efficacité, qui nuancent la robustesse
du diagnostic de l’efficacité relative des dispositifs pour au moins deux raisons : (i)
l’irrégularité dans l’alimentation des OPP en demandeurs d’emploi, (ii) la charge de la preuve
de reclassement par les OPP65. Dans ces conditions, les conclusions du rapport sur l’efficacité
relative des deux dispositifs sont à nuancer.
A la suite de ces expérimentations, le rapport du comité de pilotage de l’évaluation (2009)
souligne qu’un marché avec 23 opérateurs privés de placement a été conclu par Pôle Emploi,
issu de la fusion de l’ANPE et des Assédics.
64
65
Se reporter à Comité de pilotage de l’évaluation sur l’accompagnement des demandeurs d’emploi (2009).
Un demandeur d’emploi reclassé par OPP doit en effet fournir un contrat de travail à cet opérateur, pour être considéré en
sortie vers l’emploi suite à une action de l’OPP. Dans la négative, le reclassement n’est pas comptabilisé. De plus, et sauf
exception, les seuls contrats comptabilisés sont de type CDD de 6 mois ou CDI, pour un travail à temps complet où les
personnes reclassées ne travaillent ni le samedi ni le dimanche.
30
2.3.3 Les expérimentations du Revenu de Solidarité Active
Ayant eu lien entre Novembre 2007 et 2008, les expérimentations du revenu de solidarité
active (RSA) visaient à tester sur certaines zones appartenant à 33 départements le passage du
RMI (Revenu Minimum d’Insertion) ou de l’API (Allocation Parent Isolé) au RSA. Pour les
bénéficiaires de l’API, un revenu garanti égal au montant de l’API, augmenté de 70% des
revenus d’activité est versé pendant les 3 premiers mois ; l’allocation s’élève ensuite à la
différence entre le revenu garanti et les ressources de l’allocataire avant l’aide. Pour les
bénéficiaires du RMI, les modalités d’expérimentation sont choisies au niveau des Conseils
Généraux et varient en fonction du champ, du type d’emploi, de temps de travail, de la
résidence, d’une éventuelle « clause de sauvegarde » pour les bénéficiaires pour qui le
montant du RSA était inférieur au montant de l’intéressement 66 , du barème, et de
l’accompagnement. Le RSA poursuit 2 objectifs majeurs : (i) encourager le retour à l’emploi,
(ii) compléter les revenus du travail, tout en améliorant l’accompagnement des demandeurs
d’emploi et en simplifiant le système des minima sociaux. Dans le RSA expérimental, seul le
RSA « de base » (incitation au retour à l’emploi) est évalué, le RSA « d’activité » n’est pas
inclus dans le dispositif de l’expérience.
Un comité d’évaluation est constitué afin de suivre les expérimentations (formé de 3 collèges :
représentant des Conseils généraux, représentants de l’Etat et des organismes payeurs, et
personnalités provenant de la recherche, d’association et de la société civile).
La méthode d’évaluation choisie est la comparaison géographique 67 . Les territoires
d’expérimentation appartiennent à 33 départements et sont choisis par les conseils généraux
pour leur représentativité ou leur « particularité », les territoires témoins étant déterminés par
le degré de proximité vis-à-vis de la zone test. Les données utilisées sont des fichiers de la
CNAF, de la CCSMA68, des Conseils généraux et de la DARES, complétés par une enquête
auprès de 3500 allocataires du RMI ou de l’API, ainsi que des enquêtes après des acteurs des
expérimentations et des bénéficiaires du dispositif testé.
L’expérimentation RSA donne des résultats jugés satisfaisants. Le Comité d’évaluation des
expérimentations (2009) note que « le taux d’entrée en emploi des allocataires du RMI dans
les zones expérimentales est en moyenne plus élevé que dans les zones témoins, mais l’écart
varie assez fortement entre départements et selon les périodes » (p. 12), même si les
estimations de ce taux d’entrée restent imprécises. De plus, l’évaluation qualitative révèle que
l’accompagnement est jugé « important » pour les bénéficiaires du RSA expérimental, et les
travaux de micro-simulation menés par la DGTPE, la DREES et la CNAF concluent à un
66
Le dispositif d’intéressement a été mis en place en 1988 et permet aux bénéficiaires du RMI de mener une activité en leur
permettant de cumuler temporairement RMI et revenus d’activité, selon un caractère évolutif (en durée et en montant de
l’allocation complémentant le revenu du travail).
67
Un système d’échantillonnage individuel aléatoire pour sélectionner les bénéficiaires du dispositif expérimental était prévu,
mais n’a pas finalement pas été mis en place (pour des raisons pratiques et éthiques).
68
Caisse Centrale de la Mutualité Sociale Agricole.
31
impact substantiel sur la pauvreté. On se doit noter que la diversité des systèmes statistiques
des différents départements n’a pas toujours permis l’exploitation désirée des données.
Les résultats de l’expérimentation n’ont pas été sans susciter de vives polémiques à la fois
parmi les acteurs de la recherche et parmi les politiques. Un premier document de travail de la
DREES avait en effet fait état de taux de retour en emploi des allocataires du RMI qui
n’étaient pas significativement plus élevés dans les zones tests (Fabre et Sautory, 2009).
Surtout, le rapport final rapporte que l’écart en termes de taux d’entrée en emploi est de 9%
sur 15 mois, « à la limite de la significativité au seuil usuel de 5% 69 ». De plus, d’après
Gomel et Serverin (2009), « l’efficacité rhétorique du recours à l’expérimentation a été bien
réelle, et (…) a touché tous les bancs de l’Assemblée » (p. 25). En d’autres termes, une lecture
non nuancée des premiers résultats de l’expérimentation aurait servie de caution au politique
selon ces auteurs. Plus généralement, l’expérience pose la question fondamentale de la tension
entre le temps de la décision politique et le temps de l’évaluation.
Suite aux expérimentations, le RSA est généralisé à l’ensemble du territoire national à partir
du 1er juin 2009, tout en couvrant un champ plus large que le RSA expérimenté : le RSA
institué concerne les bénéficiaires du RMI et de l’API (touchant alors le RSA « socle »), et les
travailleurs pauvres qui touchent un « RSA d’activité », cette dernière mesure n’ayant pas été
expérimentée. Cela n’est pas sans soulever plusieurs questions liées à l’efficacité d’une
politique d’abord expérimentée puis implémentée sur l’ensemble d’un territoire 70 , et
également sur la mise en place d’une mesure publique qui n’a été expérimentée que
partiellement. Un « Fonds d’expérimentation pour la jeunesse » qui vise à améliorer
l’insertion professionnelle des moins de 26 ans a également été mis en place après
l’expérimentation RSA.
2.3.4 Les évaluations d’impact du Grenelle de l’environnement
Les débats autour du Grenelle de l’environnement mené en 2007 entre l’Etat et les
représentants de la société civile ont débouché sur 268 engagements visant à agir en faveur de
l’environnement et du développement durable. Deux lois, « Grenelle 1 » et « Grenelle 2 »71,
ont été adoptées suite à ces engagements. De manière générale, mesurer les effets d’une
politique environnementale est particulièrement ardu, ses effets sur l’environnement ne
pouvant être normalement mesurés que sur long terme (voire, le très long terme). Pour le
Grenelle de l’environnement et son impact sur l’emploi en particulier, la difficulté à évaluer
vient du fait qu’il peut y avoir un écart important entre l’impact supposé d’un ensemble
d’investissements simulé à partir de modèles macroéconomiques et l’effet « réel », le
69
Le dispositif expérimental mis en place varie selon le département, ce qui fragilise également ces résultats.
Des effets d’équilibre général peuvent aller à l’encontre des effets mesurés à un niveau plus local.
71
La loi Grenelle 1 rassemble des engagements ayant trait aux secteurs de l’énergie et du bâtiment, des transports, de la
biodiversité et des milieux naturels, à la gouvernance et aux risques pour l’environnement et la santé. Ces engagements
reprennent les 268 engagements lors des débats Etat-société civile, et des objectifs généraux de moyen et plus long terme
sur ces secteurs. La loi Grenelle 2 applique à un niveau « territorial » la loi Grenelle 1 : il s’agit d’une loi
« programmatique » qui décline, secteur par secteur, les engagements du Grenelle 1 tout en les complétant.
32
70
comportement des agents publics comme privés étant fondamental dans la mise en œuvre et
donc l’impact d’une politique. L’impact de la politique se transmet en effet à travers des effets
primaires d’abord directs (valeur des investissements) ou indirects (utilisation des revenus
des bénéficiaires des investissements) et secondaires (« effet multiplicateur »).
Une première étude d’impact, autrement dit d’évaluation ex ante du panel de mesures des lois
Grenelle 1 et 2, a été réalisée par le Boston Consulting Group (BCG) pour le ministère de
l’Ecologie, de l’Energie, du Développement durable et de l’Aménagement du Territoire.
Selon le chiffrage du BCG et à partir du montant des investissements des secteurs publics et
privés et de leurs effets multiplicateurs, le Grenelle permettrait la création de plus de 600 000
emplois sur la période 2009-2020. Ce résultat très favorable a fait grand bruit. L’étude du
BCG comporte de nombreux points faibles car, comme le souligne la lettre du Centre Etudes
et Prospectives du Groupe Alpha de Mars 2011, « l’étude du BCG ne prend en compte ni les
destructions d’emploi par effet de substitution, ni le bouclage macroéconomique via les
revenus et le financement ».
A l’inverse, une récente étude d’impact du Grenelle de l’environnement par la Direction
Générale du Trésor (Briard et al., 2010) corrige une partie de ces problèmes en mobilisant le
modèle macroéconomique Trésor-INSEE MESANGE 72 . L’impact du Grenelle est évalué
favorablement en termes de PIB et l’emploi, mais uniquement sur le moyen terme, avec un
gain net maximal de 250 000 emplois en 2015, dans le scénario le plus favorable. A l’horizon
2020, les gains économiques (croissance, emploi) du Grenelle s’annulent, pour devenir
ensuite négatifs, quelque soit le scénario retenu.
Ces expériences d’évaluation (et leurs différents résultats) d’un même ensemble de mesures
soulignent qu’évaluateurs internes et externes ne peuvent être simplement renvoyés à des
positions, pour l’un, de bienveillance ou de subordination, pour l’autre, d’indépendance ou de
liberté d’action 73 : les méthodologies d’évaluation mises en œuvre par l’évaluateur, les
compétences de celui-ci et les processus d’évaluation (qui devraient être intégrées dans le
cahier des charges lors d’un appel d’offres) doivent être appréciées tout autant, sinon plus,
que cette vision caricaturale. Elles confirment également la difficulté de mener des
évaluations ex ante.
72
On doit également noter le travail réalisé par le laboratoire ERASME (Ecole Centrale Paris), à partir du modèle
macroéconomique NEMESIS. Tenant compte du bouclage macroéconomique, cette étude évalue à +2% son impact
maximal sur le niveau du PIB par rapport à celui de base, en 2013, l’impact maximal étant estimé au maximum à +730 000
emplois à l’horizon 2014, avant une réduction des effets bénéfiques à partir de cette date. A l’horizon 2020, l’effet net en
termes de création d’emploi est ainsi évalué à 325 000 emplois.
73
De nombreux spécialistes de l’évaluation soulignent d’ailleurs la qualité d’expertise de certains services d’évaluation
interne à l’administration dans de nombreux pays étrangers (e.g. Strosa, 2003 : Duranton, 2007).
33
2.3.5 L’accompagnement de collégiens à la recherche de leur premier
stage
Depuis 2009, une expérimentation-évaluation est en cours pour accompagner des collégiens
des classes de 3ème de deux départements français (Essonne et Yvelines) dans leur recherche
de stage d’observation 74 . Ce dispositif financé par le Fonds d’expérimentation pour la
jeunesse est mis en place par le Conseil Général de l’Essonne et la préfecture des Yvelines,
avec une association d’insertion, et 3 chercheurs du Laboratoire ERUDITE (Paris-Est Marnela-Vallée et Paris-Est Créteil). Partant du constat que les élèves des quartiers ségrégés
connaissent de vives difficultés pour trouver leur stage de 3ème et pour en trouver un de ‘bonne
qualité’, le dispositif vise à accompagner certains de ces jeunes dans leur recherche de stage à
travers 4 séances en petits groupes avec un professionnel de l’entreprise. Trois séances sont
organisées avant le stage pour aider à la recherche d’un stage, et une pour faire le bilan du
stage75.
Le dispositif de l’évaluation en cours touche certaines classes de 3ème de cinq collèges de
l’Essonne ou des Yvelines classés RAR (réseaux ambition réussite), 24 classes et 460 élèves
sur deux années scolaires 76 : la première année scolaire, sont concernées par
l’accompagnement certaines classes de 3ème d’un établissement, la seconde année les autres.
La méthode d’évaluation retenue est celle de l’évaluation aléatoire : deux groupes de classes
ont été constitués pour la première année scolaire par tirage au sort, permettant d’obtenir deux
populations aux caractéristiques moyennes « similaires ». L’évaluation à mi-parcours de
l’expérimentation (donc, pour l’année scolaire 2009-2010) montre que le dispositif
d’accompagnement : (i) n’a pas d’effet sur l’accès au stage ou sur sa qualité, (ii) mais, joue un
rôle sur les choix d’orientation après la troisième (moins de refus des orientations
professionnelles ou techniques sont ainsi mesurés).
3
Evaluation des politiques publiques et organisations
syndicales77
Cette partie présente quelques réflexions sur la place des partenaires sociaux quant à
l’évaluation des politiques publiques78. Deux interrogations principales en constituent « le fil
rouge ». D’une part, quel est le rôle des partenaires sociaux dans les processus d’évaluation
des politiques publiques ? D’autre part, l’évaluation des politiques publiques ne contribue-t74
Cet exposé s’appuie sur la présentation de Yannick l’Horty à l’Ecole thématique CNRS « évaluation des politiques
publiques » de 2011 (Cf. L’Horty [2011]).
75
Le collégien doit tenir un dossier de recherche de stage. Sont également fournis des carnets d’entreprise et une aide au
ciblage des entreprises.
76
Au final, l’évaluation sera au final menée sur le double de population.
77
Cette partie a été réalisée en collaboration avec Sabrina Alzais.
78
Cette partie s’inspire partiellement des débats qui ont eu lieu lors du Colloque « Cheminer dans l’évaluation » du 6 avril
organisé par la Société Française de l’évaluation (SFE) et à destination des partenaires sociaux.
34
elle pas à porter un jugement sur l’action des partenaires sociaux (les partenaires sociaux
comme un des objets incidents de l’évaluation) ? Sans rechercher l’exhaustivité, quelques
éléments de réponse sont apportés à travers les points suivants : (i) Cadre légal de l’évaluation
et partenaires sociaux, (ii) Culture et enjeux de l’évaluation pour les partenaires sociaux, (iii)
Offre d’évaluation et partenaires sociaux, (iv) Evaluation et accords collectifs.
3.1 Cadre légal de l’évaluation et organisations syndicales
3.1.1 Le cadre légal
De nombreuses dispositions législatives et réglementaires instituent des évaluations
obligatoires d’actions ou politiques publiques dans les années 2000 (cf. sous-section 2.1, les
acteurs et le cadre légal de l’évaluation en France). Toutes ces dispositions sont susceptibles
d’interpeller les partenaires sociaux, mais plus particulièrement celles touchant aux domaines
de l’emploi et de la formation professionnelle : parmi celles-ci, la loi du 24 novembre 2009
(cf. supra). En effet, depuis la loi Waldeck-Rousseau du 21 mars 1884 (dont les dispositions
sont majoritairement reprises au sein du Titre III du Livre 1er de la 2ème partie du Code du
travail), il est institué un droit du syndicalisme qui habilite les organisations syndicales « à
intervenir sur tous les aspects de la vie sociale susceptibles d’avoir une incidence sur les
intérêts qu’ils entendent défendre. Les syndicats sont donc en permanence conduits à se
prononcer sur des initiatives ou des choix des gouvernants, et invités à concourir à des
politiques publiques » (Pelissier et al., 2008). À ce titre, les organisations syndicales peuvent
tout à fait contribuer à l’évaluation des politiques publiques. Cette prérogative n’est pourtant
pas sans soulever de nombreuses questions quant aux rôles des partenaires sociaux et à la
construction historique de leurs actions.
3.1.2 Quelle initiative des syndicats dans ce cadre légal ?
Les partenaires sociaux doivent faire face à une offre d’évaluation de plus en plus hétérogène
(se référer à la sous-section 2.1.).
Selon certains intervenants du colloque « Cheminer dans l’évaluation », les partenaires
sociaux doivent tenir un rôle dans l’évaluation, mais ne doivent pas se substituer aux experts
de l’évaluation. Cependant, la méthodologie et les critères de l’évaluation n’étant jamais
neutres, les partenaires sociaux ont une place pour intervenir. Il est également souligné que les
partenaires sociaux ne sont pas donneurs d’ordre, ils doivent « faire avec » : il reste
exceptionnel qu’ils aient participé au dialogue ou à la décision d’évaluation. Les partenaires
sociaux ont de fait souvent l’impression d’une « obligation » de se mettre à l’évaluation,
d’une imposition de celle-ci. La question se pose donc : dans quelle mesure peuvent-ils avoir
l’initiative ? La loi du 24 novembre 2009 sur la formation professionnelle donne une réponse
35
possible en accordant une place importante aux partenaires sociaux dans l’évaluation des
financements qui sont accordés dans ce cadre. L’article 22 de cette même loi permet aux
partenaires sociaux de contribuer aussi à établir des méthodes d’évaluation lorsqu’elle prévoit
que « les certificats de qualification professionnelle » s’appuieront sur un référentiel de
certification qui définit les modalités et les critères d’évaluation des acquis des salariés. Il est
donc nécessaire à cet endroit de distinguer les différentes positions que peuvent adopter les
organisations syndicales face à l’évaluation des politiques publiques.
3.2 Culture de l’évaluation chez les organisations syndicales et ses
enjeux
3.2.1 Faible culture de l’évaluation ou distanciation volontaire des
organisations syndicales ?
Selon Pierre Rosanvallon (voir Rosanvallon, 1987), les partenaires sociaux ont différents
rôles, dont celui de porter le mouvement social, et celui d’« agence sociale ». Cette dernière
fonction consiste notamment en des missions de création et de gestion d’institutions paritaires,
et de participation à la gouvernance de certains services publics (par exemple, gestion de
l’Unédic). La participation des organisations syndicales à l’élaboration et au suivi des
politiques publiques est depuis ressentie comme « une philosophie de la façon dont devrait
fonctionner la société […] trouvant sa traduction thématique dans le concept de démocratie
participative79 ». De cette participation, les organisations syndicales attendent une « légitimité
de leur représentativité, de l’information utile pour éclairer leur stratégie, parfois aussi des
ressources financières complémentaires et, plus généralement, une possibilité de faire
entendre leur voix dans le concert social et d’infléchir ainsi, au service des travailleurs, les
décisions que les autorités publiques sont conduites à prendre »80.
L’évaluation est une pratique jugée souvent étrangère aux partenaires sociaux car le système
de relations sociales privilégie davantage la négociation collective. De fait, leur culture de
l’évaluation est souvent jugée assez faible. Cela peut également refléter une certaine
distanciation ‘volontaire’ des organisations syndicales vis-à-vis de l’évaluation. Plusieurs
raisons en ont été avancées lors du Colloque « Cheminer dans l’évaluation » du 6 avril 2011
organisé par la SFE et à destination des partenaires sociaux. Jusqu’à présent, l’intérêt
d’évaluer n’était pas nécessairement perçu, et aucune obligation liée à l’évaluation et les
concernant n’était instaurée. En outre, l’évaluation est souvent assimilée à une logique de
contrôle externe, donc rejetée au nom du principe d’autonomie du mouvement syndical,
« nécessaire à la contestation, qui implique une certaine distance par rapport aux rouages de
l’État » (Pelissier et al., 2008). Par ailleurs, la culture du résultat étant étrangère au corps
79
80
G . Caire, T. Lowit, Encyclopaedia Universalis, entrée « Syndicalisme ».
Ibid
36
social, il peut survenir un problème de partage entre base et sommet des organisations
syndicales pour l’utilité de l’évaluation. La faible acculturation, finalement, peut nuire à la
qualité de la commande d’évaluation, que d’autres organismes ont lancée.
3.2.2 L’évaluation interpelle les syndicats
Les partenaires sociaux sont fondés à s’intéresser à l’évaluation des politiques publiques pour
au moins deux grandes raisons, toutes deux liées à la complexité du rapport entre les
organisations syndicales et les politiques publiques.
Tout d’abord, il existe bien des enjeux d’évaluation du point de vue syndical. D’une part, ces
enjeux se perçoivent dans le cadre d’actions de revendication et de négociation. Dans cette
dimension, les acteurs syndicaux veulent échapper à une évaluation « normative », qui leur
« dirait » de quelle manière ils devraient se comporter, donc qui entameraient leur marge de
liberté. D’autre part, l’évaluation (ex ante) peut favoriser, sans la limiter, l’action syndicale
(dialectique action-évaluation). En effet, une approche évaluative dans des travaux prospectifs
peut crédibiliser et donner des arguments à une action syndicale81.
Ensuite, l’évaluation peut mobiliser les syndicats quand ceux-ci ont une responsabilité
institutionnelle, comme l’activité de ceux-ci dans le cadre de la gestion paritaire d’institutions
sociales ou économiques (Unédic, Formation Professionnelle, etc.). Quand la mise en œuvre
de certaines politiques ou actions publiques passe par le paritarisme, les syndicats ont
particulièrement intérêt à s’emparer de la question, a fortiori si il y a obligation d’évaluation
(cf. infra).
Pour finir, à partir de la typologie de Hyman 82 , on remarque qu’au moins deux types de
syndicalisme sont susceptibles d’être interpellés par l’évaluation :
- les organisations qui s’inscrivent dans la mouvance du syndicalisme de société sont
pleinement incitées à s’intéresser à l’évaluation des politiques publiques, tout
particulièrement quand ces évaluations s’inscrivent dans des institutions paritaires
- les organisations qui s’inscrivent dans une perspective de syndicalisme de marché, étant
particulièrement sensibles aux politiques de l’emploi et du marché du travail
81
A ce sujet, on se référera par exemple au travail réalisé par Goudard et Malaquin (2009) à la demande de la CGT. Cette
étude prospective simule différents scénarios pour prendre en compte le critère de pénibilité dans le secteur du BTP pour y
proposer des mesures de retraite anticipée.
82
Le modèle de Hyman (1997) propose une « géométrie » du syndicalisme qui distingue 3 types-idéaux de syndicalisme : (i)
le syndicalisme de marché (les syndicats sont des coalitions d’intérêt dont les fonctions se rapportent exclusivement au
marché du travail), (ii) le syndicalisme de société ou d’intérêt général (les syndicats sont des véhicules pour l’élévation du
statut des travailleurs dans la société et ainsi pour l’avancement de la justice sociale), (iii) le syndicalisme de classe (les
syndicats sont appréhendés comme des « écoles de guerre » dans une lutte entre travail et capital).
37
3.3 Offre d’évaluation et place des syndicats dans l’évaluation
3.3.1 Place des syndicats au regard de l’évaluation
Jacques Freyssinet, lors du colloque « Cheminer dans l’évaluation » (cf. supra) distingue
plusieurs places possibles des organisations par rapport à l’évaluation : celle de demandeurutilisateur, position habituelle, ou bien celle de donneur d’ordre, position qu’ils pourraient
dorénavant occuper (cf. évolutions législatives et réglementaires).
Quand les partenaires sociaux sont dans une position de demandeur-utilisateur, les pouvoirs
publics ont l’initiative. L’exigence des partenaires sociaux se situe à 2 niveaux : présence
dans le processus (consultation) et qualité du processus. Les partenaires sociaux sont
légitimes sur ces deux exigences. En France, l’ancien Conseil Scientifique de l’Évaluation
garantissait la qualité d’une évaluation. Ainsi, la loi quinquennale du 20 décembre 1993
relative au travail, à l’emploi et à la formation professionnelle prévoyant un rapport
d’évaluation de la loi à mi-étape faisait par exemple l’objet d’un processus d’évaluation. De
manière générale, les évaluations de politique publique ne sont pas actuellement soumises à
une épreuve de vérification de leur qualité.
Si les partenaires sociaux interviennent en tant que donneurs d’ordre (position qu’ils n’ont
guère connue jusqu’à présent), ils sont donc à l’initiative de l’évaluation. Cette qualité
d’initiateur peut cependant rencontrer quelques obstacles. Si l’initiative de l’évaluation ne
suppose pas nécessairement la capacité de mettre en place une instance d’évaluation, il peut
exister des obstacles, pour les partenaires sociaux, à mettre en place eux-mêmes ces instances.
En outre, être l’initiateur de l’évaluation suppose d’avoir un intérêt à ce qu’une action
publique soit évaluée. Or, la question se pose de l’intérêt des partenaires sociaux à
l’évaluation : cette dernière consiste, rappelons-le, à un jugement de valeur qui pourrait mettre
en évidence des « gagnants » et des « perdants » ? Cela met au grand jour les positions
respectives des acteurs de la mise en œuvre d’une politique publique, et le « climat de
confiance » dans laquelle s’élabore une action publique. Dans tous les cas, y a-t-il bien intérêt
à une évaluation, ou bien à une publicité de cette évaluation ?
3.3.2 Évaluation d’impact vs évaluation de process, quel effet pour les
syndicats ?
Certains intervenants du colloque « Cheminer dans l’évaluation » (cf. supra) notent qu’avec la
poussée de l’évaluation aléatoire pratiquée via des expérimentations sociales, l’évaluation de
process (tout comme l’évaluation « qualitative ») est « passée aux oubliettes ». A fortiori,
l’évaluation aléatoire peut souvent apparaître comme dogmatique en cela qu’elle est parfois
présentée par ses pratiquants comme une technique d’évaluation supérieure à toutes les autres.
38
Gomel et Serverin (2011) parlent ainsi de « la supériorité revendiquée de la méthode
expérimentale » (p.24), et citant André Orléan83, soulignent une « fermeture progressive de la
réflexion économique autour de propositions et de méthodes devenues dogmes » (p. 24).
La poussée de l’évaluation aléatoire semble donc se faire au détriment des autres formes
d’évaluation, et notamment de l’évaluation de process. Or, l’évaluation de process est
particulièrement importante pour les partenaires sociaux pour comprendre la mise en place et
la manière dont est appliquée une politique publique, mais aussi pour révéler les tensions ou
les contradictions qui peuvent s’y cristalliser.
Il est par ailleurs important de noter que l’évaluation de process, qui s’apparente plutôt à une
forme d’analyse qualitative, peut être complémentaire d’une expérimentation sociale, plutôt
que substitut. Cependant, l’affichage de la démarche scientifique et l’éclairage médiatique
tendent à favoriser les résultats « quantitatifs » de l’évaluation expérimentale, même quand
d’autres types d’analyse ont été effectués. A titre d’illustration, Gomel et Serverin (2011) se
rapportent à l’expérimentation du RSA, qui, malgré toutes les critiques qui lui ont été
associées (se rapporter à la section 2.3.), intégrait deux enquêtes de type qualitatif84.
Finalement, d’autres tensions entre évaluation et action syndicale peuvent aussi être évoquées,
telles celles ayant trait à l’évaluation des accords collectifs participant à la réalisation d’une
politique publique.
3.4 Evaluation et accords collectifs
La réflexion autour de l’évaluation des politiques publiques et des accords collectifs soulève
de nombreuses questions. Tout d’abord, dans le cadre d’un renvoi à la négociation collective
pour mettre en œuvre une politique publique, l’évaluation inquiète puisque qu’elle portera sur
la mise en œuvre d’un accord collectif. Plus généralement, cette problématique pose la
question d’une application de l’évaluation à l’accord collectif.
3.4.1 Evaluation en droit : effectivité et évaluation du champ
d’habilitation des syndicats pour la mise en œuvre d’une politique
Dans le cadre d’une habilitation des partenaires sociaux à mettre en œuvre une politique
publique (octroi d’une compétence des partenaires sociaux par incitation législative, renvoi à
la négociation collective …), l’évaluation considérée d’un point de vue juridique pourrait
avoir pour objet la comparaison entre d’une part le champ d’habilitation des partenaires
83
Président et fondateur de l’Association Française d’Economie Politique, créée en 2009.
La première est une enquête monographique réalisée sur cinq départements, s’attache à décrire les aspects institutionnels et
organisationnels. La seconde est une enquête qualitative réalisée auprès des bénéficiaires et présentant une restitution des
opinions et du ressenti de ceux-ci quant au RSA (voir la présentation faite sur ces deux enquêtes par Gomel et Serverin,
2011).
39
84
sociaux ouvert par la politique publique et d’autre part le cadre légal préexistant. Autrement
dit, il s’agirait d’évaluer l’effectivité de la politique publique. A cet endroit, il semble
important de souligner qu’habiliter les partenaires sociaux à négocier dans le but de mettre en
œuvre une politique publique ne suffit pas pour s’assurer de la pleine effectivité de la
politique publique. En effet, les partenaires sociaux peuvent rencontrer des difficultés au
regard du corpus juridique qui compose leurs domaines de compétences. Ainsi, un renvoi à la
négociation pour la mise en œuvre d’une politique publique peut se heurter à d’autres règles
juridiques évinçant ou omettant de rendre les partenaires sociaux compétents en ce domaine.
Il est donc nécessaire pour évaluer l’effectivité de la politique publique que celle-ci enrichit le
droit syndical de règles assurant aux partenaires sociaux leur pleine capacité à mettre en
œuvre la politique publique.
3.4.2 Evaluation en droit : efficacité de la mise en œuvre de la politique
publique par les syndicats
A plus forte raison, l’évaluation des politiques publiques peut résulter d’une comparaison
entre les finalités affichées de la politique publique et celles poursuivies par les partenaires
sociaux. A cet égard, l’évaluation des accords collectifs se fera au prisme des finalités de la
politique publique qui permettent donc de mesurer son efficacité85. Or, pour comparer les
finalités poursuivies par un accord collectif avec celles d’une politique publique, diverses
difficultés se présentent à l’évaluateur. Par exemple, les finalités d’un accord collectif ne sont
pas nécessairement affichées comme tel et ne correspondent pas pleinement à celles évoquées
dans la politique publique. Ainsi, il a pu être remarqué par des représentants d’organisations
syndicales lors du colloque « Cheminer dans l’évaluation » (cf. infra) qu’il est difficile de
construire un référentiel alors que les différents signataires ne sont pas guidés par les mêmes
raisons. En somme, la question de la concordance des finalités entre celles affichées par la
politique publique et celles qui résultent de l’accord collectif retient l’attention des partenaires
sociaux. Il en résulte que le recours à l’autonomie collective pour mettre en œuvre une
politique publique peut s’avérer un terrain propice à une redéfinition des finalités de la
politique publique par un effet d’appropriation qui interroge nécessairement la question de
l’efficacité de la mise en œuvre d’une politique publique par les partenaires sociaux86. Un
risque est alors pressenti puisqu’évaluer la politique publique tendrait alors à évaluer l’accord
collectif. C’est pourquoi les partenaires sociaux, lors du Colloque, ont mise en évidence le
risque d’une évaluation-sanction.
85
Prenons l’exemple d’une politique publique qui prévoit sa mise en œuvre par les partenaires sociaux. En droit, l’évaluation
de cette politique publique passera prioritairement par l’évaluation des accords collectifs. Cette évaluation portera alors sur
l’adéquation entre le but poursuivi par la politique publique et ceux découlant des accords collectifs.
86
Il semble évident qu’avoir recours à l’autonomie collective pour mettre en œuvre une politique publique ne relève pas d’un
simple exercice d’application mécanique de la politique publique. Les rapports de force et le contexte de la négociation
notamment jouent un poids suffisamment grand pour permettre de croire que les finalités de l’accord collectif peuvent se
distinguer de celles affichées dans la politique publique.
40
3.4.3 La crainte d’une évaluation-sanction ?
Plusieurs intervenants au Colloque insistent sur le fait que certains mécanismes existants
peuvent s’apparenter à de l’évaluation des actions syndicales (ce n’est pas a proprement
parler de l’évaluation des politiques publiques) : le vote aux élections professionnelles ou
l’adhésion à une organisation syndicale, par exemple. En outre, la démocratie interne aux
organisations syndicales (relation confédération-base) est aussi un gage d’évaluation de
l’action syndicale (« une évaluation par les pairs » ?).
A fortiori, pour certains intervenants au Colloque, les mécanismes suivants s’apparentent
également à des formes d’évaluation :
•
les conditions du processus d’extension des accords collectifs : ceux-ci peuvent être
évalués au regard de la pertinence de cette extension par rapport aux objectifs des
politiques publiques87
•
les clauses de bilan ou d’évaluation ou bien de l’agenda évaluatif pour certaines
clauses d’accords collectifs
Alors pourquoi faire de l’évaluation ? La ligne évaluative telle qu’elle apparaît lors d’une
mise en œuvre de la politique publique via la négociation collective se distingue fortement de
l’évaluation des politiques publiques telle qu’on l’évoque dans la première et deuxième partie
de ce document. Cette dernière ligne évaluative à cependant le mérite de mettre en évidence le
risque d’effets pervers de l’évaluation. Certains syndicalistes posent donc la question :
pourquoi un nouvel outil de sanction ?
87
Par exemple, Conseil d’Etat, 21 novembre 2008, Syndicat national des cabinets de recouvrement de créances et de
renseignements commerciaux et autres, n° 300135, à publier au recueil : le ministre chargé du travail n’a pas commis
d’erreur d’appréciation en refusant d’étendre un accord autorisant la mise à la retraite, sur l’initiative de l’employeur, de
salariés âgés de moins de 65 ans, sur le fondement de l’article L. 133-8, désormais repris à l’article L. 2261-25 du Code du
travail, pour un motif d’intérêt général tiré de la nécessité de favoriser le maintien dans l’emploi des “seniors”.
41
CONCLUSION
L’évaluation des politiques publiques constitue une « valeur montante » en France. Le progrès
dans la diffusion d’une culture de l’évaluation en France se mesure notamment : (i) par
l’existence ou le renforcement d’obligations légales d’évaluation (évaluation ex ante des
projets de loi, obligation d’évaluation pour certaines politiques publiques, etc.) ; (ii) à travers
les apports de la Loi Organique relative aux Lois de Finance (LOLF, votée en 2001)
appliquée depuis quelques années et qui fournit un « cadre » pour l’évaluation des politiques
publiques menés par l’Etat central (création et suivi d’indicateurs servant à mesurer le degré
d’atteinte d’objectifs lié à des « programmes ») ; (iii) par la mise en oeuvre
d’expérimentations-évaluations d’importance dans le domaine économique ou social depuis
2006
(expérimentation
d’accompagnement
renforcé
des
chômeurs
en
2006-2008,
expérimentation RSA en 2007 et 2008, etc.).
Mobilisés par les politiques publiques et notamment celles liées à l’emploi et à la formation,
les syndicats sont de facto interpellés par l’évaluation. En effet, même si la culture de
l’évaluation y est souvent peu diffuse et qu’il existe une certaine ‘distanciation’ des
organisations syndicales vis-à-vis de celle-ci, il existe bien des enjeux d’évaluation du point
de vue des syndicats, et un intérêt pour l’évaluation quand ceux-ci ont une responsabilité
institutionnelle. L’intérêt des syndicats à l’évaluation est également lié à certaines obligations
d’évaluation instituées par des lois récentes, mais est aussi contingent à la position qu’ils
peuvent prendre dans les processus d’évaluation. Finalement, l’évaluation dans le cadre de la
négociation collective soulève chez les partenaires sociaux la crainte d’une « évaluationsanction ».
42
Références
Arkwright E., de Boissieu C., Lorenzi J.-H. et Samson J. (2007), Economie Politique de la LOLF,
Rapport du Conseil d’Analyse Economique, No 65, 24 Avril 2007.
Arnaud S. et Boudeville N. (2004), Evaluer des politiques et programmes publics, Editions de la
Performance.
Artus P., Cahuc P. et Zylberberg A. (2007), « Temps de travail, revenu et emploi », Rapport du
Conseil d’Analyse Economique, No 68.
Askenazy P. (2003), « La dynamique de l’organisation du travail lors de la réduction du temps de
travail, Economie et Prévision, No 158, 27-46.
Askenazy P. (2005), « Les effets emplois des 35 heures : une rapide revue critique des évaluations ex
post », mimeo, CNRS, Cepremap, Fédération Jourdan.
Banerjee A. et Duflo E. (2008), “The experimental approach to development economics”, NBER
working papers, No 14467, National Bureau of Economic Research.
Barron G. et Monnier E. (2003), « Une approche pluraliste et participative : coproduire l’évaluation
avec la société civile », Information Sociale, No 110, Sept. 2003.
Behaghel L., Crepon B., Gurgand M. (2009), « Evaluation d’impact de l’accompagnement des
demandeurs d’emploi par les opérateurs privés de placement et le programme Cap vers
l’entreprise », rapport final, miméo, Septembre.
Boston Consulting Group (2009), Réflexions sur le portefeuille de mesures Grenelle Environnement,
rapport pour Ministère de l’Ecologie, du Développement Durable et de l’Aménagement du
territoire.
Bouchoux J., Houzel Y. et Outin J.-L. (2005), « L’évaluation du RMI : la simplification de la
démarche et ses enjeux », Journées de la Société Française d’Evaluation, Université de
Bordeaux 2, 20 et 21 Septembre 2004
Briard P., Fery P., Galko E., Guillerminet M.-L., Klein C., Ollivier T. (2010), « Impacts
macroéconomiques du Grenelle de l’Environnement », document de travail de la DG Trésor,
Numéro 2010/06.
Bourdin J., André P. et Plancade J.-P. (2004), Rapport d’information sur l’évaluation des politiques
publiques en France, Annexe au procès-verbal de la séance du 30 juin 2004, Sénat.
Bunel M. et Jugnot S. (2003), « 35 heures. Evaluation de l’effet emploi », Revue Economique, vol. 54,
No 3, 595-606.
Centre Etudes et Prospective (2011), La GPEC, outil de la transition à l’économie bas carbone, La
lettre du CEP N°5, Mars 2011, Groupe Alpha.
Challus A.-S. (2010), La SFE, 10 ans, et après ?, Rapport de stage Master 2.
43
Comité de pilotage de l’évaluation sur l’accompagnement des demandeurs d’emploi (2009),
« Les expérimentations d’accompagnement renforcé des demandeurs d’emploi conduites par
l’Unedic et l’ANPE en 2007 », rapport de synthèse, 5 octobre 2009.
Comité d’évaluation des expérimentations du RSA (2009), Rapport final sur l’évaluation des
expérimentations du RSA, mai 2009. http://RSA.gouv.fr/IMG/pdf/rapport_final_2009.pdf
Comité de réflexion et de proposition sur la modernisation et le rééquilibrage des institutions de
la Vème république (2007), Une Vème République plus démocratique, 2009.
Conseil National de l’Evaluation et Commissariat Général du Plan (2001), Le programme
« nouveaux services – emplois jeunes » dans le champ jeunesse et sports, Rapport de l’instance
d’évaluation présidée par Anicet Le Pors, La Documentation Française.
Cour des Comptes (2002), La politique de la Ville, Rapport au Président de la République.
Crépon B., Leclair M., Roux S. (2004), « RTT, productivité et emploi : nouvelles estimations sur
données d’entreprise », Economie et Statistiques, No 376-377, 55-89
Crépon B. et Kramarz F. (2006), « The two French Work-Experiments: Employment and
Productivity Effects”, in Labor Market Effects of Worksharing Arrangements in Europe, Burda,
Hamermesh, Kramarz et Weil (eds), Oxford University Press.
Fabre V. et Sautory O. (2009), « Enquête sur les expérimentations du RSA : Premiers résultats »,
DREES, document de travail No 87 - avril 2009.
Fond d’expérimentation pour la jeunesse (2009), Guide méthodologique pour l’évaluation des
expérimentations sociales à l’intention des porteurs de projet.
http://www.experimentationsociale.fr/IMG/pdf/guide-pour-l-evaluation-des-experimentations.pdf
Gomel B. et Serverin E. (2009), « Expérimenter pour décider ? Le RSA en débat », document de
travail du Centre d’Etudes de l’Emploi, No 119, Juin 2010.
Goudard D. et Malaquin M. (2009), « Pénibilité et retraites : des repères pour le débat social à partir
du cas du BTP », Centre Etudes et Prospective du Groupe Alpha.
Gomel B. et Serverin E. (2011), « Evaluer l’expérimentation sociale », document de travail du Centre
d’Etudes de l’Emploi, No 143, avril 2011.
Gubian A., Jugnot S., Lerais F. et Passeron V. (2004), « Les effets de la RTT sur l’emploi : des
simulations ex ante aux évaluations ex post », Economie et Statistiques, No 376-377, 25-54
Hyman R. (1997), « La géométrie du syndicalisme. Une analyse comparative des identités et des
idéologies », Relations industrielles, vol. 52 (1), 7-38.
Heckman J. (2010), « Building Bridges between structural and Program Evaluation Approaches to
Evaluating Policy », Journal of Economic Literature, vol. 48 (2), 356-398.
IGAENR-IGAS (2007), Evaluation de l’application et de l’impact de la loi d’orientation du 29 juillet
1998 relative à la lutte contre les exclusions, mars 2007, La Documentation française.
44
Labrousse A. (2010), « Nouvelle économie du développement et essais cliniques cliniques
randomisés : une mise en perspective d’un outil de preuve et de gouvernement », Revue de la
régulation, n°7, 1er semestre 2010.
Lambert A. et Migaud D. (2006), La mise en œuvre de la loi organique relative aux lois de finances à l’épreuve de la pratique, insuffler une nouvelle dynamique à la réforme, Rapport au
Gouvernement.
Lhorty Y. (2011), « faut-il accompagner les jeunes des quartiers ségrégés dans leur première
expérience professionnelle ? Les enseignements d’une évaluation aléatoire », Ecole Thématique
CNRS « Evaluation des Politiques Publiques », 21-25 mars 2011, Aussois, France.
Lhorty Y. et Petit P. (2010), « Evaluation aléatoire et expérimentations sociales », document de
travail du Centre d’Etudes de l’Emploi, No 135, Décembre 2010.
Pelissier J., Supiot A., et Jeammaud A. (2008), Droit du travail, Précis Dalloz, 24ème édition.
Perret B. (2003), « L’évaluation des politiques publiques », Information sociales, No 110, Oct. 2003.
Rapport d’information de l’Assemblée nationale (2004), mission d’information commune sur
l’évaluation des conséquences économiques et sociales de la législation sur le temps de travail,
rapport No 1544.
Rosanvallon P. (1987), La question syndicale. Histoire et Avenir d’une forme sociale,
Calman-Levy, Paris.
Société Française de l’Evaluation (2006), Charte de l’Evaluation. Des politiques publiques et des
programmes publics, actualisée le 21 juin 2006.
Trosa S. (2003), « L’évaluation des politiques publiques », Les notes de benchmarking international,
l’Institut de l’Entreprise, Nov. 2003.
Tourmen C. (2008), « Les Compétences des évaluateurs de politiques publiques », Formation Emploi,
2008/4, No 104, 53-65.
Verdier E. (2006), « Evaluations régionales de la formation et responsabilité politique. Quel impact
sur la conduite de l’action publique ? », Education et sociétés, 2006/2, No 18.
Van der Linden B. (2011), « Méthodes structurelles et évaluation des politiques publiques », Ecole
Thématique CNRS « Evaluation des Politiques Publiques », 21-25 mars 2011, Aussois, France.
Viveret P. (1989), L’évaluation des politiques et des actions publiques, Rapport au premier ministre,
La Documentation française.
45

Evaluation des politiques publiques (CEP oct 2011)

Transcription

Documents pareils

Communiqué académique SNES-SNEP-SNETAAFO

PROJET DE TRACT NAO 241115 version final

lettre ministre - SNE-CFTC

Communiqué de Monsieur le Directeur de la CPAM de Va

CPCAM, CAF, CARSAT, URSSAF, UDEGAM, CEIR/CTI

Madame Annick GIRARDIN Ministre de la Fonction publique 80, rue

MANIFESTATION A BORDEAUX 10h30 PLACE DE LA COMEDIE

www.fo-hopital.com

Télécharger - SNUipp-FSU 35 (Ille et Vilaine)

Communiqué commun - CFE-CGC