Mesure de la performance, gestion de la performance et imputabilité

Nathalie Dubois
Jim McDavid
Etienne
Charbonneau
Jean-Louis Denis
Special issue on performance
measurement, performance
management, and accountability —
ro spe
cial
Editors’ introduction / nume
sur la mesure de la performance,
gestion de la performance, et
— Introduction des
imputabilite
dacteurs
re
Performance measurement, performance management and public reporting have grown from New Public Management (NPM)-inspired beginnings in the 1990s1 to being a near universal requirement in both the
public and non-profit sectors. In Western countries, the movement to tie
public management to performance objectives, targets, measureable indicators, and regular assessments of performance for both internal (managerial) and external organizational stakeholders is now a key part of
orthodox public administration. In developing countries, where international aid organizations and multilateral donors offer assistance, aid is
typically tied to instituting performance management systems with many
of the same measurement and reporting expectations as are required in
jurisdictions at all levels of government in Western countries.
In this special issue of Canadian Public Administration we canvass realizations of performance evaluation, offering both expository and critical
perspectives that range from descriptions of function-specific frameworks
to reviews of the whole field of performance management. The articles
reflect the diversity of approaches to conceptualizing, measuring and
analyzing program and organizational performance, as well as different
epistemological assumptions about how to interpret performance information and assess its worth. Several of the articles can be linked, examining the same function across jurisdictions or the same jurisdictions from
complementary perspectives. Other articles stand alone and bring forward the findings from decades of research that have tracked and
assessed the movement to use performance results to improve accountability and performance.
We briefly summarize each article and then highlight underlying
themes that connect the papers to broader themes in the literature.
The first three articles offer complementary perspectives on performance
measurement in the health field, which reflect a long-standing emphasis on
science-based research and practice along with the use of evidence in
CANADIAN PUBLIC ADMINISTRATION / ADMINISTRATION PUBLIQUE DU CANADA
VOLUME 58, NO. 1 (MARCH/MARS 2015), PP. 1–14
C The Institute of Public Administration of Canada/L’Institut d’administration publique du Canada 2015
V
2
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
making program and policy-related decisions. Health-related programs are
increasingly costly to deliver, and in Canada there is evidence that health
care expenditures are a growing percentage of provincial budgets (Evans
2010).
Because health is a provincial responsibility in Canada, funded in part
by the federal government (Kirby 2001), efforts to set standards, control
costs and improve the efficiency and effectiveness of services have
involved two levels of government. In 1994, the Canadian Institute for
Health Information (CIHI) was created by provincial and federal stakeholders as a source of comparative performance data for evidence-based
policy and program decision-making across Canada.
In “Health System Performance Reporting in Canada: Bridging Theory
and Practice at a Pan-Canadian Level,” Jeremy Veillard, Brenda Tipper
and Sara Allin describe how CIHI built an interactive health system performance framework for measuring, comparing and explaining variations
in performance at the national, regional (provinces and health regions)
and institutional levels. Building on ten years of public reporting (20002014), this will facilitate users building tailored comparisons of their own
institutional performance to groups of matched peers. Veillard et al. offer
examples of how “high performers” (institutions in the top decile) can be
identified from the suite of performance indicators. They suggest that the
system will be useful to improve both accountability and performance,
with the latter influenced by peer pressure that comes from comparing
one’s performance with a peer group. Veillard et al. also describe how in
2003, in response to the Romanow Commission on the Future of Health
Care in Canada (Romanow 2002), the federal government and nine provinces agreed to create a national Health Council to support the dissemination of best practices and innovations by gathering performancerelated information and making it available to provincial and sub provincial jurisdictions. The Health Council operated as a repository and a
forum for pan-Canadian discussions of health-related policy issues for
ten years until it was disbanded by the Conservative government in 2013.
Quebec has created its own institution. The Commissioner of Health and
Well-Being (CEBS) is mandated to measure health system performance,
examine health policy issues, issue reports and serve as a source of information and ideas to influence health system policy and performance in
Quebec.
The paper by Georges Thiebaut, François Champagne and AndrePierre Contandriopoulos, “Les enjeux de l’evaluation de la performance:
Depasser les mythes” situates and describes the performance measurement framework (used by the Quebec Commission of Health and WellBeing: the Comprehensive and Integrated Framework for Health System
Performance Assessment). Thiebaut et al. critique the system, observing
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY
3
that measuring performance of complex systems is intrinsically judgmental. They also point out that it is simplistic to assume as many proponents
of performance measurement have done, that such systems can be used
to simultaneously improve accountability and improve performance. We
return to this point in our summary of cross-cutting themes below.
In “L’appreciation de la performance du système de sante et des services sociaux du Quebec : L’approche du Commissaire a la sante et au
bien-^etre,” Olivier Sossa and Isabelle Ganache focus more directly on
how the CEBS Commissioner assesses existing health-related programs
and policies as well as advocating for new policies. The Commissioner
uses the EGIPSS framework to describe system and sub-system performance as well as analyzing the causal patterns among factors that comprise
the complex health and well-being system in the province. Sossa and
Ganache point out that for the CEBS, performance assessment includes
ethical and stakeholder dimensions, the latter involving experts and citizens in the review of performance results and the performance framework itself. Periodic reporting is intended to influence the development
and implementation of health-related public policies, such as the 2012
report focused on mental health issues in Quebec and included an ethical
dimension in assessing mental health-related policies and programs.
Etienne
Charbonneau and François Bellavance, in “Performance Management in a Benchmarking Regime: Quebec’s Municipal Management
Indicators,” offer an empirical analysis of the factors that might explain
the extent to which municipal managers in Quebec perceive their local
governments using the 14 provincially mandated (since 2004) performance indicators. Charbonneau and Bellavance surveyed the population of
general managers, getting 321 responses. Their analysis includes four
dependent variables: general purpose uses; management uses; budgeting
uses; and external reporting uses. Predictors include measures of their
local government’s comparative rankings in performance, perceived barriers to using performance information, indices of selected internal features of their local government, selected socio-demographic factors and a
measure of political completion in the last mayoral election. Although
very few of these factors are statistically significant, one factor that stands
out is managerial willingness to use performance information: the less
willing managers are, the less likely they are to report their local government using the 14 performance indicators.
The paper by Etienne
Charbonneau, Gerard Divay, and Damien Gardey, “Volatilite dans l’utilisation des indicateurs de performance municipal,” builds on the central finding of the previous paper: a manager’s
willingness to use the information. It develops a model to explain uses of
performance information in local governments by focusing on the interface between managers and elected officials, who each bring their own
4
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
knowledge, values, interests and emotions to these relationships. These
factors can change over time. Because local government work is cyclical,
Charbonneau et al. hypothesize that different uses – passive (reporting
results as required by law), purposeful (used to improve program performance), political (used to communicate with the public) and perverse
(performance results are manipulated so that they are biased) – will vary
over time. Indeed, the real payoff is to move beyond snapshots and support dynamic research that measures and correlates these patterns over
time.
Michael O’Neill and Eddy Nason’s “What Metrics? On the Utility of
Measuring the Performance of Policy Research: An Illustrative Case and
Alternative from Employment and Social Development Canada” offers a
conceptual model which addresses several problems in measuring performance of policy research functions in governments. They focus on
Employment and Social Development Canada and critique the default
logic modelling approach suggested by Treasury Board as well as the
conventional payback framework for measuring policy research performance. Instead, O’Neill and Nason outline a Spheres of Influence for Research
Performance (SIRP) model that relies on an empirical understanding of
how research products influence actors in a nested network ranging from
the researchers to stakeholders outside of government.
The paper by John Grundy, “Performance Measurement in Canadian
Employment Service Delivery, 1996-2000,” marks a transition in our issue
from pragmatic solutions to measuring and reporting performance to
more critical looks at this field. Grundy takes a historical look at the
Employment Insurance Commission transition from process and output
measures to using high-stakes outcome indicators, and highlights the
organizational impacts. Using a Foucaultian governmentality lens, he illuminates power relationships and the mechanisms of control (governing
conduct at a distance) built into a New Public Management emphasis on
the vertical alignment of performance measures and targets. His case
shows us that when national headquarters mandated the use of two outcome performance measures (numbers of clients getting jobs and EI savings from clients returning to work), this generated a complex response
from managers and front line workers that was far more nuanced than a
Foucaultian analysis would have predicted.
The special issue concludes with Burt Perrin’s “Bringing Accountability
Up to Date with the Realities of Public Sector Management in the 21st Century.” He critically examines our current approach to accountability and the
consequences of widespread efforts to fuse results-focused performance
measurement systems with the traditional compliance-based approach to
accountability central to parliamentary systems. These structures and processes, Perrin argues, do not strengthen accountability even when more and
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY
5
more accountability expectations are layered onto existing administrative
systems. For Perrin, too much is expected from performance systems, particularly when a focus on measuring and reporting outcomes is mandated. Performance measurement is at best a work in progress, and it invites those
involved to undermine the process of measuring and reporting results. Performance measurement can be useful, but realistically, performance results
will rarely make it possible to pinpoint what (or who) was right or wrong in
explaining why a pattern of results were observed. Perrin argues for a different approach to accountability: one that re-introduces trust into the relationship between public servants and their political masters and has the goal of
stimulating an ongoing performance dialogue between administrators and
policy-makers.
Cross-cutting themes
Performance measurement in the public and non-profit sectors is generally
tied to the expectation that reporting performance results will improve
accountability and hence, improve program and organizational performance. Several of our papers (Veillard et al., Thiebaut et al., and Perrin) mention this issue. Thiebaut et al. compare these two rationales for
performance measurement (Table 3), indicating that trying to achieve both
may not be possible (see Myth 6 about simultaneously pursuing two objectives: accountability and continuous improvement of performance). Perrin
goes further by suggesting that tying performance measurement to
accountability for results will not only weaken accountability, particularly
in high-stakes political contexts, but vitiate the uses of performance results
for performance improvement. We suggest this question for future
research: under what conditions, if any, is it possible for performance measurement and reporting systems to both improve accountability and
improve performance?
A second theme, related to the first, is the challenge of demonstrating
that performance measurement systems and their products are actually
used. Charbonneau and his colleagues identified four categories of uses
and suggest that accountability and performance improvement uses are
possible in local government contexts, but the empirical challenge is discovering what mix of “interface” factors produces what kinds of uses
over time. Of interest as well is Charbonneau, Divay and Gardey’s mention of perverse uses as one of the four types. Perrin elaborates this latter
use by pointing to research which suggests that requiring managers to
collect and then report performance results engenders gaming behaviours. Although gaming is often attributed to managers wanting to avoid
reporting negative results, politicians can use performance measurement
systems to ensure that only positive performance stories are
6
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
communicated publically. Our contributors offer different perspectives on
the challenges of using performance information. Veillard, Tipper and
Allin outline a tailored “open data” approach to facilitate users constructing their own performance reports – presumably this will encourage
health-related institutions to compare their performance and at least indirectly, use CIHI’s performance measurement system. Sossa and Ganache
point to strategies that the Commissioner of Health and Well-Being in
Quebec has used to engage stakeholders as to ensure the relevance of its
performance-related products.
But using performance measurement results continues to be a significant problem. Charbonneau and Bellavance’s empirical study of Quebec
municipalities suggests that most local government managers report very
little to no uses of the performance information mandated by the provincial government. Perrin and others have pointed out that even though
many of the performance reports that are prepared and conveyed are
intended to influence political decision-making, there is scant evidence
this happens, particularly where government departments are mandated
to produce reports. We see instead instances of performance reports
tabled in a near-ritualistic manner. If they are intended to improve
accountability they do so primarily in symbolic ways.
In the evaluation field similar to the policy research function that
O’Neill and Nason describe, program evaluators have developed frameworks for classifying uses. In addition to describing uses for evaluation
products, evaluators have looked at process uses – doing an evaluation
itself can engender uses (Kirkhart 2000; Mark and Henry 2004). For
researchers and practitioners looking at performance measurement systems, there would be value both conceptually and empirically in applying what program evaluators have learned from several decades of
looking at the usefulness of evaluations.
Our final observation concerns the usefulness of performance results
and the desire to (simultaneously) improve accountability and performance. Bouckaert (2005) refers to the “grand canyon” of public sector performance measurement – on one rim are program and organizational
outputs and across the canyon are outcomes. Credibly connecting outputs
to outcomes is perhaps the most challenging part of measuring and managing performance. Usually, our approaches to measuring performance
provide us (at best) with partial pictures of what organizations are
accomplishing. The linear logic models used to build performance measurement systems do not typically acknowledge the complexity embedded in programs and policies. Attribution is a key challenge (Bovaird
2014). Performance measurement and performance reporting can play a
valuable role in public management, but perhaps that role is more
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY
7
formative, focused on improving performance, than summative, focused
on accountability for results.
Depuis leurs debuts inspires par le courant du Nouveau management public
(NPM) dans les annees 19901, les mecanismes de mesure de la performance,
de gestion de la performance et d’imputabilite se sont developpes jusqu’a
devenir une exigence quasi universelle tant dans le secteur public que dans
celui des organismes a but non lucratif. Dans les pays occidentaux, le mouvement visant a associer la gestion publique a des objectifs de performance, a
des cibles, a des indicateurs mesurables et a des evaluations regulières de la
performance destines aux differentes parties prenantes de l’organisation, tant
a l’interne (gestion) qu’a l’externe, fait maintenant partie integrante de
l’administration publique orthodoxe. Dans les pays en voie de
developpement o
u interviennent des organismes d’aide internationaux et des
donateurs multilateraux, l’aide fournie est generalement subordonnee a la
mise en place de systèmes d’evaluation de la performance. Les attentes en
matière de mesure de la performance et de production de rapports sont très
semblables a celles qui sont requises dans les juridictions et a tous les paliers
de gouvernement des pays occidentaux.
Dans ce numero special de la revue Administration publique du Canada,
nous passons en revue plusieurs realisations en matière d’evaluation de
la performance a travers une serie d’exposes et de comptes rendus critiques, allant de la description de cadres adaptes a une fonction
specifique jusqu’a l’examen de tout le champ de la gestion de la performance. Les articles de ce numero reflètent la diversite des approches utilisees pour conceptualiser, mesurer et analyser la performance des
programmes et des organisations, ainsi que les differents postulats
epistemologiques qui les sous-tendent quant a la façon d’interpreter les
donnees et d’evaluer leur valeur sous l’angle de la performance. Plusieurs de ces articles ont des liens communs, du fait qu’ils examinent soit
la m^eme fonction dans des juridictions diverses, soit la m^eme juridiction
a partir de points de vue complementaires. D’autres articles sont autonomes et font etat des resultats de plusieurs decennies de recherche consacree a suivre et a evaluer le mouvement dans le but d’utiliser ces
resultats pour ameliorer l’imputabilite et la performance.
Nous resumons brièvement chacun des articles constituant ce numero
special, puis soulignons les thèmes sous-jacents qui les relient a des
thèmes plus generaux de la litterature.
8
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
Les trois premiers articles offrent des points de vue complementaires
sur la mesure de la performance dans le domaine de la sante, qui reflètent la valorisation de la recherche scientifique et de l’apport de la pratique et, par consequent, l’importance accordee aux donnees probantes
pour la prise de decisions. Il faut dire que les programmes lies a la sante
sont de plus en plus co^
uteux, et il a ete demontre qu’au Canada, les
depenses de sante representent un pourcentage de plus en plus important du budget des provinces (Evans 2010).
Au Canada, la sante depend de la juridiction provinciale, tout en etant
en partie financee par le gouvernement federal (Kirby 2001), les efforts
entrepris pour fixer des normes, contr^
oler les co^
uts et ameliorer
l’efficacite et la productivite des services ont implique les deux paliers de
gouvernement. En 1994, l’Institut canadien d’information sur la sante
(ICIS) a ete cree par differents acteurs engages aux niveaux provincial et
federal pour fournir des donnees comparatives sur la performance permettant de prendre des decisions sur les programmes et les politiques en
s’appuyant sur des donnees probantes provenant de partout au Canada.
Dans leur article, « Health System Performance Reporting in Canada:
Bridging Theory and Practice at a Pan-Canadian Level », Jeremy Veillard,
Brenda Tipper et Sara Allin decrivent le processus mis en place par l’ICIS
pour b^
atir un cadre de mesure de la performance du système de sante
pour la mesure, la comparaison et l’explication des differences de performance observees aux niveaux national, regional (provinces et regions sociosanitaires), et institutionnel. S’appuyant sur dix annees de rapports publics
(2000-2014), l’approche actuelle aidera les utilisateurs a etablir, en fonction
de leurs besoins, des comparaisons entre les performances de leur propre
institution et celles de groupes d’institutions comparables. S’appuyant sur
des exemples, l’article de Veillard et coll. montre comment identifier les
institutions « ultraperformantes » (institutions qui se situent dans le decile
superieur) a partir d’une serie d’indicateurs de performance. Ils suggèrent
que le système propose sera utile pour ameliorer aussi bien l’imputabilite
que la performance des organisations. Selon les auteurs, le niveau de performance d’une institution devrait ^etre influence par la pression exercee
par la comparaison des resultats de l’institution avec ceux d’institutions
comparables. En 2003, a la suite de la Commission Romanow sur l’avenir
du système de sante au Canada (Romanow 2002), le gouvernement federal
et neuf provinces se sont mis d’accord sur la creation d’un Conseil national
de la sante qui favoriserait la diffusion des exemples de pratique exemplaire et d’innovation en colligeant les donnees concernant la performance et
en les mettant a la disposition des juridictions provinciales et infraprovinciales. Pendant dix ans, le Conseil national de la sante a servi a la fois de
referentiel de donnees et de forum de discussion pancanadien avant d’^etre
demantele par le gouvernement conservateur en 2013.
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY
9
Le Quebec a choisi de creer sa propre institution. Le Commissaire a la
sante et au bien-^etre (CSBE) a le mandat de mesurer la performance du
système de sante, d’examiner les problèmes concernant les politiques de
sante, de produire des rapports et d’^etre une source d’information et de
recommandations visant l’amelioration des politiques et de la performance du système de sante au Quebec.
L’article de Georges-Charles Thiebaut, François Champagne et AndrePierre Contandriopoulos, « Les enjeux de l’evaluation de la performance :
Depasser les mythes », situe et decrit le cadre de mesure de la perfor
mance EGIPSS (Evaluation
globale de la performance des systèmes de
services de sante). Thiebaut et coll. examinent et critiquent les approches
d’evaluation de la performance puis donnent un aperçu du cadre
EGIPSS. Leur article demontre que mesurer la performance de systèmes
complexes relève intrinsèquement du jugement. Ils soulignent aussi qu’il
est simpliste d’assumer – comme l’ont fait de nombreux defenseurs de la
mesure de la performance – que ces systèmes puissent ^etre utilises pour
ameliorer a la fois la performance et l’imputabilite. Il s’agit d’une question sur laquelle nous reviendrons dans notre recapitulation des thèmes
qui traversent les differents articles de ce numero special.
Olivier Sossa et Isabelle Ganache se concentrent, eux, directement sur le
travail du CSBE au Quebec. Leur article, « L’appreciation de la performance
du système de sante et des services sociaux du Quebec : L’approche du
Commissaire a la sante et au bien-^etre », se concentre directement sur le
cadre EGIPSS dans le contexte du travail accompli par le commissaire pour
evaluer les programmes et les politiques relies aux problèmes de sante, ainsi
que pour defendre de nouvelles politiques. Le Commissaire utilise le cadre
EGIPSS pour decrire la performance du système et des sous-systèmes et
pour identifier les modèles causaux a travers les differents facteurs dont
depend le système complexe de la sante et du bien-^etre dans la province.
Sossa et Ganache soulignent que pour le CSBE, l’evaluation de la
performance comprend des dimensions ethique et participative, cette
dernière couvrant la participation tant d’experts que de citoyens a
l’examen des mesures de performance et du cadre de mesure lui-m^eme.
La publication de rapports periodiques a pour but d’influencer
l’elaboration et la mise en œuvre des politiques publiques. Par exemple,
dans un rapport de 2012 centre sur les questions de sante mentale au
Quebec, il a fallu prendre en compte la dimension ethique pour
l’evaluation des politiques et des programmes afferents.
Dans « Performance Management in a Benchmarking Regime: Que
bec’s Municipal Management Indicators », Etienne
Charbonneau et
François Bellavance font une analyse empirique des facteurs susceptibles
d’expliquer l’adhesion des dirigeants municipaux du Quebec a un exercice de mesure de la performance auquel les a contraint le gouvernement
10
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
provincial. L’exercice consiste a utiliser 14 indicateurs predetermines. Sur
la base d’un questionnaire autoadministre, Charbonneau et Bellavance
ont obtenu l’avis de 321 directeurs generaux. L’analyse des donnees
inclut quatre variables dependantes : l’utilisation generale, l’utilisation
pour la gestion, l’utilisation pour l’etablissement du budget et l’utilisation pour la redaction de rapports externes. Parmi les variables
predictives, les auteurs retiennent les mesures du classement comparatif
de la performance de l’administration locale, les limites perçues a l’utilisation des donnees sur la performance, les indices de certaines caracteristiques
internes
de
l’administration
locale,
certains
facteurs
sociodemographiques et le degre de realisations des engagements politiques annonces lors de la dernière election municipale. Quoique très peu de
ces facteurs soient significatifs du point de vue statistique, un des facteurs
importants du modèle d’analyse est la volonte des dirigeants de se servir
des resultats : moins ils sont desireux d’y avoir recours, moins il y a de
chances qu’ils se servent de l’analyse des 14 indicateurs pour faire rapport
de la performance de leur administration publique.
L’article d’Etienne
Charbonneau, Gerard Divay et Damien Gardey,
« Volatilite dans l’utilisation des indicateurs de performance municipale »,
developpe le concept central de l’article precedent : la volonte des directeurs d’utiliser l’information. Il elabore un modèle permettant d’expliquer
l’utilisation de ces renseignements au niveau des administrations locales
en se concentrant sur l’interface entre les directeurs et les elus, qui
investissent leurs propres connaissances, valeurs, inter^ets et emotions.
Ces facteurs peuvent changer avec le temps. Et, comme le travail des
administrations locales est cyclique, Charbonneau et coll. font l’hypothèse
que les differentes utilisations – passive (transmission des resultats exiges
par la loi), resolue (resultats utilises pour ameliorer la performance des
programmes), politique (resultats utilises pour communiquer avec le public) et perverse (resultats manipules et donc biaises) – varient avec le
temps. Toutefois, le principal enjeu est de mettre en place une recherche
dynamique qui mesure ces cadres a travers le temps et les met en
correlation.
L’article de Michael O’Neill et Eddy Nason, « What Metrics? On the
Utility of Measuring the Performance of Policy Research: An Illustrative
Case and Alternative from Employment and Social Development Canada » presente un modèle conceptuel qui repond a plusieurs des problèmes qui se posent lorsqu’on mesure la performance des fonctions de
recherche sur les politiques dans les gouvernements. Ils se concentrent
sur Emploi et Developpement social Canada et critiquent l’approche de
modelisation basee sur le raisonnement par defaut suggere par le Conseil du Tresor ainsi que le cadre conventionnel de la rentabilite pour
mesurer la performance de la recherche sur les politiques. O’Neill et
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY 11
Nason proposent plut^
ot le modèle SIRP (Spheres of Influence for Research
Performance) qui repose sur une comprehension empirique de la façon
dont les resultats de recherche peuvent influencer des agents dans un
reseau imbrique allant des chercheurs jusqu’aux parties prenantes
exterieures au gouvernement.
L’article de John Grundy, « Performance Measurement in Canadian
Employment Service Delivery, 1996-2000 » marque une transition entre
l’etude de solutions pragmatiques pour la mesure de la performance et la
production des rapports et l’adoption d’un point de vue plus critique sur
ce champ de recherche. Grundy adopte un point de vue historique sur la
façon dont on est passe, a l’interieur de la Commission de l’assuranceemploi du Canada, de la mesure des processus et des resultats directs a
l’utilisation d’indicateurs portant sur des effets de plus large portee, mettant en relief les impacts organisationnels. En utilisant la notion foucaldienne de gouvernementalite, il met en lumière les relations de pouvoir et
les mecanismes de contr^
ole qui font partie integrante du Nouveau management public concernant l’alignement vertical des mesures et des cibles
de performance. Le cas etudie montre que, quand l’administration centrale a exige l’utilisation de deux indicateurs de performance (nombre de
clients obtenant un travail et economie sur l’assurance-emploi lorsque
des clients retrouvent un travail), cela a suscite, de la part des dirigeants
et des travailleurs de première ligne, une reponse complexe beaucoup
plus nuancee qu’une analyse foucaldienne aurait pu le predire.
Le dernier article de ce numero special, par Burt Perrin, « Bringing
Accountability Up to Date with the Realities of Public Sector Management in the 21st Century », examine de façon critique notre approche
actuelle de l’imputabilite et les consequences des efforts considerables
employes a fusionner des systèmes de mesure de la performance axes
sur les resultats et l’approche traditionnelle, basee sur l’observance de
règles, qui est encore centrale dans les systèmes parlementaires. Selon
Perrin, ces structures et processus ne renforcent pas l’imputabilite m^eme
si l’on a introduit de plus en plus d’attentes quant a l’imputabilite a tous
les niveaux des systèmes administratifs. L’on attend trop des systèmes de
performance, surtout quand on demande de se concentrer sur la mesure
et la transmission de donnees concernant les resultats. La mesure de la
performance est au mieux un travail en cours, et il pousse les personnes
concernees a miner le processus de mesure et de production de rapports.
La mesure de la performance peut ^etre utile, mais il faut ^etre realiste : les
resultats de ces mesures permettront rarement de mettre le doigt sur le facteur (ou la personne) dont l’action pourrait expliquer l’observation d’une
configuration de resultats donnee. Perrin plaide pour une approche differente
de l’imputabilite qui reintroduirait la confiance dans la relation entre les fonctionnaires et les chefs politiques.
12
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
Thèmes transversaux
L’etude de la performance dans le secteur public et dans les organismes a
but non lucratif est generalement liee a la croyance qu’en collectant et rapportant les resultats de performance, on puisse accro^ıtre l’imputabilite et,
donc, ameliorer la performance des programmes et des organisations. Plusieurs des articles ici publies (Veillard et coll., Thiebaut et coll., et Perrin)
abordent cette question. En comparant ces deux justifications de la mesure
de la performance (Tableau 3), Thiebaut et coll. indiquent que tenter de
les atteindre conjointement pourrait bien ^etre impossible. En reference a
l’article, il est enonce comme sixième mythe que l’on pourrait poursuivre
simultanement les deux objectifs : imputabilite et amelioration continue
de la performance. Perrin va plus loin en suggerant que lier la mesure de
la performance a l’imputabilite quant aux resultats n’affaiblira pas seulement l’imputabilite, en particulier dans les contextes o
u les enjeux politiques sont importants, mais risque aussi de vicier l’utilisation des resultats
pour ameliorer la performance. Voici donc la question que nous posons
pour une recherche ulterieure : dans quelles conditions est-il possible, le
cas echeant, que les systèmes de mesure de la performance et de production de rapports ameliorent a la fois l’imputabilite et la performance?
Un second thème, relie au premier, est la difficulte de demontrer que
les systèmes de mesure de la performance et les resultats qu’ils produisent sont reellement utilises. Charbonneau et ses collègues ont identifie
quatre categories d’utilisation et suggèrent que celles axees sur
l’imputabilite et l’amelioration de la performance sont possibles dans des
contextes locaux. Le defi au niveau empirique etant de decouvrir quelle
combinaison de facteurs « d’interface » produit telle ou telle sorte
signaler aussi, la mention par Charbonneau,
d’usage au fil du temps. A
Divay et Gardey d’usages pervers comme un des quatre types. Perrin
elabore sur ce dernier type en soulignant des recherches permettant de
penser que demander aux directeurs de recueillir puis de faire rapport
des resultats de performance engendre des comportements visant a travestir les resultats. Bien que ce genre de comportement soit souvent
attribue a des directeurs qui veulent eviter de faire etat de resultats
negatifs, les politiciens aussi peuvent utiliser les systèmes de mesure de
la performance pour s’assurer que seules les histoires de performances
positives soient communiquees publiquement. Nos contributeurs
presentent differents enjeux lies a l’utilisation des resultats de performance. Veillard, Tipper et Allin decrivent une approche ouverte et adaptee
pour faciliter la construction par les utilisateurs de leurs propres rapports
de performance – ce qui devrait supposement inciter les institutions liees
a la sante a comparer leurs performances et, au moins indirectement, a
utiliser le système de mesure de la performance de l’ICIS. Sossa et
SPECIAL ISSUE ON PERFORMANCE MEASUREMENT, MANAGEMENT AND ACCOUNTABILITY 13
Ganache soulignent les strategies utilisees par le Commissaire a la sante et
au bien-^etre pour collaborer avec les parties concernees et garantir la pertinence des resultats lies a la performance.
Mais l’utilisation des resultats de la mesure de la performance continue d’^etre un enjeu important. L’etude empirique proposee par Charbonneau et Bellavance concernant les municipalites du Quebec permet de
penser que la plupart des directeurs d’administrations locales n’utilisent
que très peu – ou pas du tout – les informations collectees et analysees
dans le cadre de l’exercice exige par le gouvernement provincial. Comme
d’autres chercheurs, Perrin a souligne que m^eme si la plupart des rapports de performance qui sont prepares et envoyes ont pour but d’influencer la prise de decisions politiques, il y a peu de donnees permettant
d’appuyer cette hypothèse, notamment quand les ministères sont obliges
de produire ces rapports. On voit au contraire des cas de rapports sur la
performance tablettes de façon quasi-rituelle. S’ils sont censes ameliorer
l’imputabilite, ils le font donc surtout de façon symbolique.
Dans le domaine de l’evaluation, similaire a la fonction de recherche
sur les politiques que decrivent O’Neill et Nason, les evaluateurs de programme ont elabore des cadres pour classer les utilisations. En plus de
decrire les utilisations des resultats d’evaluation, ils ont examine les utilisations de processus : le fait m^eme de produire une evaluation peut en
effet engendrer des utilisations (Kirkhart 2000; Mark et Henry 2004). Pour
les chercheurs et les praticiens qui s’interessent aux systèmes de mesure
de la performance, il pourrait ^etre interessant, tant d’un point de vue
conceptuel qu’empirique, d’appliquer ce que les evaluateurs de programme ont appris a conna^ıtre en verifiant l’utilite des evaluations pendant plusieurs decennies.
Notre dernière observation concerne l’utilite des resultats de performance et le desir d’ameliorer simultanement l’imputabilite et la performance. Bouckaert (2005) parle du « grand canyon » de la mesure de la
performance dans le secteur public : d’un c^
ote, se trouvent les resultats
directs des programmes et des organismes (extrants), et de l’autre, les
effets a court ou long terme (resultats). Relier les extrants aux resultats est
peut-^etre la partie la plus difficile de la mesure de la performance. En
general, nos approches de la mesure de la performance nous donnent (au
mieux) un tableau partiel de ce que les organismes accomplissent. Les
modèles de logique lineaire utilises pour b^atir les systèmes de mesure de
la performance ne peuvent pas refleter la complexite intrinsèque des programmes et des politiques. L’attribution est l’un des principaux defis
(Bovaird 2014). La mesure de la performance et la communication des
donnees sur celle-ci peuvent jouer un r^
ole positif dans l’administration
publique, mais il se pourrait que ce dernier soit plus formatif (centre sur
l’amelioration de la performance) que sommatif (centre sur l’imputabilite).
14
NATHALIE DUBOIS, JIM MCDAVID, ETIENNE
CHARBONNEAU, JEAN-LOUIS DENIS
Note
Performance measurement in local governments began in American cities in the early
1900s and was tied to the good-government Progressive Movement (Williams 2003). New
Public Management advocates (Osborne and Gaebler 1993) made results-focused performance measurement a part of a broad movement to introduce business-like practices in the
public sector.
La mesure de la performance dans les administrations locales a vu le jour dans les villes
americaines au debut des annees 1900, en liaison avec le Good-government Progressive
Movement (Williams 2003). Les avocats du Nouveau Management Public (Osborne et Gaebler 1993) avaient fait de la mesure de la performance centree sur les resultats un des
elements d’un large programme visant a introduire des pratiques entrepreneuriales dans
le secteur public.
References
Bovaird, T. 2014. “Attributing outcomes to social policy interventions – ‘Gold standard’ or
‘fool’s gold’ in public policy and management?” Social Policy & Administration 48 (1): 1–23.
Evans, R. 2010. The “unsustainability Myth” don’t believe claims that medicare is becoming unaffordable. Ottawa, ON: Canadian Centre for Policy Alternatives. Retrieved December [website].
Available at https://www.policyalternatives.ca/publications/monitor/unsustainabilitymyth.
Kirby, M. 2001. The Health of Canadians – The Federal Role: Interim Report. The Standing Senate
Committed on Social Affairs, Science and Technology. Ottawa, ON: The Parliament of Canada.
Kirkhart, K. E. 2000. “Reconceptualizing evaluation use: An integrated theory of influence.”
New Directions for Evaluation 88 (1): 5–23.
Mark, M. M., and G. T. Henry. 2004. “The mechanisms and outcomes of evaluation influence.” Evaluation 10 (1): 35–57.
Osborne, D., and T. Gaebler. 1993. Reinventing Government: How the Entrepreneurial Spirit is
Transforming Government. New York, NY: Addison-Wesley Publishing Company.
Romanow, R. 2002. Building on Values: The Future of Health Care in Canada: Final Report.
Ottawa, ON: Commission on the Future of Health Care in Canada.
Williams, D. 2003. “Measuring government in the early twentieth century.” Public Administration Review 63 (6): 643–59.