évaluer la prévention : éléments pour une approche alternative
Transcription
évaluer la prévention : éléments pour une approche alternative
ÉVALUER LA PRÉVENTION : ÉLÉMENTS POUR UNE APPROCHE ALTERNATIVE Olivier Barchechat Daniel Sansfaçon Février 2003 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? TABLE DES MATIÈRES INTRODUCTION 1 SECTION I. LES INITIATIVES DE PREVENTION A L’ECHELLE DE LA COLLECTIVITE ET LES COMPREHENSIVE COMMUNITY INITIATIVES (CCI) 3 HISTORIQUE DES CCI 4 LES CARACTERISTIQUES DES CCI 11 Les objectifs 11 Les principes des CCI 12 Les choix stratégiques des CCI 13 Un modèle logique 15 La gestion des CCI : un exercice délicat 15 LES CCI CONTEMPORAINES 17 The Atlanta Project (TAP) 17 Le programme Empowerment Zones/Enterprise Communities (EZ/EC) 19 Le Comprehensive Community Revitalization Program (CCRP) 19 La Cleveland Rebuilding Community Initiatives (RCI) 21 APPLICATIONS DE CCI AU CHAMP DE LA DELINQUANCE 23 Le Comprehensive Communities Program (CPP) 23 La stratégie Weed and Seed : 24 Les Communities That Care (CTC) 25 SECTION II - ÉVALUER LES CCI 29 LES LIMITES DE L’EVALUATION TRADITIONNELLE 29 LA PRATIQUE D’EVALUATION DES CCI 34 Une pratique basée sur la théorie du changement 37 Le rôle central de l’évaluateur 39 Diversité des outils méthodologiques 40 Les limites de la théorie du changement 41 EXEMPLE D’EVALUATION D’UNE CCI 41 SECTION III – IMPLICATIONS POUR LA PREVENTION DE LA CRIMINALITE 43 Une approche basée sur la théorie et les connaissances 43 Une évaluation intégrée 46 Diversité des indicateurs et des sources de données 46 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Diversité des outils méthodologiques 47 Une conception différente des résultats 47 ÉLEMENTS DE CONCLUSION 48 RESSOURCES POUR LES CCI 50 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Introduction La pratique de l’évaluation en matière de prévention de la délinquance est en pleine expansion. En témoignent les efforts entrepris dans divers pays pour mener des évaluations systématiques et rigoureuses des programmes et actions de prévention. En témoignent aussi les travaux de chercheurs rassemblés autour du Campbell Collaborative1 pour produire des synthèses des connaissances accumulées sur une base internationale. Ces efforts conjugués sont souvent résumés sous l’appellation « evidence-based policies », des politiques fondées sur la connaissance, où la recherche empirique est censée constituer l’assise des orientations des politiques et stratégies gouvernementales et des décisions de financement de programmes et d’actions. Pour certains, des doutes subsistent encore quant à la possibilité de mesurer des non événements : comment en effet mesurer l’impact de programmes qui ont pour objectif même que des délits ne soient pas commis ? Pour d’autres, cet accent sur l’évaluation, au delà de sa contribution au champ des connaissances, traduit surtout le réalignement de l’État sur une approche néo-libérale. Surtout, demeure l’enjeu toujours présent de traduire les résultats d’études d’évaluation en décisions de programmes et de politiques. À partir de quel moment la base de connaissances est-elle suffisante pour transformer des programmes isolés en stratégies de politiques publiques et, à l’inverse, pour abolir des programmes dont on aurait démontré qu’ils ne « marchent » pas ? Dans son précédent rapport 2 sur le rôle de l’évaluation dans les politiques nationales de prévention et de sécurité, le CIPC soulignait notamment (i) le décalage entre les résultats des études d’évaluation et le contenu des politiques en vigueur, (iii) la prédominance d’évaluations d’impact recourant à un nombre limité d’indicateurs, ainsi que (iii) l’utilisation sporadique des résultats des études d’évaluation pour élaborer les politiques publiques. On peut certes observer, avec Laycock 3 par exemple, que les attentes et besoins des politiques et praticiens d’un côté, et les pratiques et approches des chercheurs de l’autre, sont souvent déphasés : les temporalités des chercheurs, leur formation et le contexte dans lequel ils produisent les études ne correspondent pas aux besoins des premiers qui attendent des études concises, rapides, écrites en langage simple. On peut aussi regretter l’écart entre les connaissances et les pratiques, voire entre les savants et les acteurs, et ce qui serait l’incapacité de ces derniers à faire bon usage de la connaissance. Peut-être. Mais à côté et en creux, on peut aussi observer une tendance à l’imposition d’un certain modèle de « rigueur » scientifique dont on peut se demander dans quelle mesure il ne serait pas lui-même partie du problème. 1 Le Campbell Collaboration est un regroupement informel de chercheurs qui fait le point sur l’état des connaissances. . CIPC (2002) De la connaissance aux politiques de prévention et de sécurité : quel rôle pour l’évaluation ? Montréal. 2 1 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Les politiques de prévention de la délinquance se sont construites d’abord autour d’une action des villes à la fois parce qu’elles sont des lieux où les phénomènes de délinquance et d’insécurité prennent une visibilité particulière, et aussi parce qu’elles peuvent agir au plus près des habitants et de leurs préoccupations. Ces politiques se sont par la suite précisées pour mettre l’accent sur une action intégrée des divers acteurs susceptibles d’intervenir sur les facteurs de risque de délinquance et de victimation. Appuyée par l’accumulation des connaissances issues de la recherche scientifique sur les trajectoires de délinquance et les risques de victimation, l’intervention intégrée signifiait ainsi la volonté d’agir de manière systématique et intégrée sur l’ensemble des facteurs de risque. Par ailleurs, une tradition d’évaluation des impacts et de l’efficacité de divers types d’action de prévention, permettait peu à peu de construire une meilleure connaissance des pratiques réussies. Pourtant, au fil des ans, méthodologie d’évaluation aidant, les pratiques intégrées, l’intervention multisectorielle, l’action sur l’ensemble des facteurs de risque d’une collectivité donnée, ont cédé le pas à des interventions ponctuelles, à un saupoudrage de projets à court terme, et à des actions centrées sur des techniques de sécurisation des espaces découplées d’une action sur les personnes et collectivités à risque. On observe ainsi une prédominance des interventions de type situationnel et dans une moindre mesure la faveur d’actions ciblant le développement des enfants, mais rarement une intégration des deux et moins fréquemment encore leur articulation à des interventions sociales et communautaires sur les facteurs relatifs aux milieux et conditions de vie. Certains auteurs n’hésitent pas à conclure d’ailleurs que la prévention sociale n’existe pas faute d’avoir été démontrée empiriquement et que seules les mesures de type situationnel ou développemental peuvent prétendre former la base scientifique de la prévention.4 Or, l’on peut se demander dans quelle mesure cette situation n’est pas, pour partie, un effet pervers des méthodologies dominantes d’évaluation. En effet la méthodologie héritée du modèle quasi-expérimental de recherche, avec sa cohorte d’exigences et de principes (assignation aléatoire des sujets, groupe témoin, mesures pré-post, analyses quantitatives, etc.), ne se prête pas à l’évaluation d’approches intégrées, multifactorielles et multisectorielles. Ou pour le dire autrement, ces approches de prévention dite sociale ne se plient pas aux canons de la méthode. C’est dans cette perspective que le CIPC s’est intéressé aux Comprehensive Community Initiatives américaines (CCI). 5 Ces initiatives, comme on le verra, reposent sur des principes d’action similaires à ceux de la prévention intégrée à l’échelle d’une collectivité. Mais ce qui les rend encore plus pertinentes c’est qu’il s’est développé, au fil des ans, une pratique de leur évaluation qui, pour ne pas répondre aux critères de la méthode traditionnelle, n’en est pas moins rigoureuse 3 Laycock (2001) « Social Research. Getting it Right for Policy Makers and Practitioners. Intervention au Premier colloque annuel du CIPC, Québec, novembre 2001. 4 Par exemple, Cusson (2002). 2 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? et surtout plus en phase avec la philosophie sous-jacente de l’intervention. C’est donc ce à quoi le présent rapport sera consacré. La première section décrit les caractéristiques et le fonctionnement des CCI. La deuxième aborde la pratique d’évaluation des CCI, discutant des limites des approches traditionnelles de l’évaluation et présentant quelques études de cas. La troisième section tente de mettre en relief des leçons nous paraissant importantes pour la pratique de l’évaluation de la prévention de la criminalité. Section I. Les initiatives de prévention à l’échelle de la collectivité et les Comprehensive Community Initiatives (CCI) Originaires des États-Unis, les CCI sont des interventions à l’échelle de la collectivité ou du quartier6 qui visent à améliorer les conditions de vie des individus, des familles et des collectivités, grâce à des stratégies intégrées dans les secteurs social, économique et physique7, misant sur la participation de ses habitants et institutions et sur la fourniture d’un large éventail de services sociaux (éducation, santé, logement, emploi, etc.). Si l’expression « comprehensive community initiatives » n’est pas facile à traduire en français, elle n’est pas immédiatement claire en anglais non plus. Le terme « comprehensive » peut renvoyer à la globalité des approches employées pour faire face à un problème social donné et par là aux actions posées, mais aussi à une manière de les articuler entre elles, et donc aux acteurs qui les mènent et à une manière de faire. Le terme « community » n’est guère plus simple. La communauté, c’est la collectivité politique aussi bien que l’entité administrative délimitée par des frontières administratives, mais c’est aussi la collectivité vecteur d’un sentiment d’appartenance aussi bien que la collection des intérêts privés réunis seulement par la proximité géographique.8 En fait, il est intéressant d’observer que le terme « community » n’est presque jamais défini dans les documents que nous avons consultés. Cette ambiguïté peut créer une certaine confusion chez le lecteur. Mais l’essentiel est ailleurs : le sens tacite qui prévaut le plus souvent (le troisième) ne permettant pas de fixer clairement les limites géographiques des collectivités, il est nécessaire de le faire de façon « arbitraire » (ce sont en fait les responsables d’une initiative donnée qui le font). De 5 . Par commodité, nous utiliserons dans ce document l’acronyme CCI. . Puisque l’on retrouve les deux termes dans la littérature, nous les utiliserons indifféremment. 7 . En anglais, dans ce contexte, le terme « physical » englobe aussi bien les bâtiments et matériels que le ramassage des ordures ménagères. 8 . Rossi, Peter H. “Evaluating Community Development Programs : Problems and Prospects” in Ronald F. Ferguson and William T. Dickens, eds. (1999) Urban Problems and Community Development, The Brookings Institution, Washington DC, p.531. 6 3 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? plus, cet accent sur le « local » par le biais de la collectivité, renvois, pour certains auteurs, aux transformations de l’État social en État gestionnaire, se délestant de certains de ses rôles fondamentaux traditionnels pour les renvoyer aux collectivités locales voire à l’initiative privée des habitants qui deviennent des entrepreneurs de leur vie sociale.9 Enfin, le terme « initiatives » n’est pas lui non plus particulièrement clair : s’agit-il d’initiatives privées, de projets isolés, de programmes intégrés soutenus par l’administration publique, ou d’un savant mélange des trois? Il est parfois difficile de le déterminer. Pour mieux saisir la nature des initiatives globales à l’échelle de la collectivité, il est utile de faire un bref détour historique. Historique des CCI Les CCI s’inscrivent dans un courant d’initiatives à l’échelle de la collectivité apparu au début du siècle dernier et axé sur l’aide aux personnes et quartiers défavorisés.10 Jusqu’au début du 20ème siècle, les problèmes de pauvreté suscités par le chômage, l’insuffisance des salaires, les mauvaises conditions de travail, et plus généralement les conditions sociales d’existence (santé, logement, etc.) étaient dans une large mesure laissés aux mécanismes traditionnels d’entraide : le voisinage, les associations d’aide mutuelle et surtout les organisations caritatives (les Charity Organisations Societies ou COS). L’action des charities était sous-tendue par une vision de la pauvreté, développée au siècle précédent, selon laquelle les individus eux-mêmes étant responsables de leur précarité l’aide devait uniquement être accordée à ceux qui le méritaient pour les protéger de la contagion des autres. Des réformateurs ont commencé à questionner la validité des thèses et l’efficacité des méthodes des COS. Leur démarche était animée par un désir de protéger les individus, les familles et les collectivités locales des effets les plus néfastes du capitalisme, de lutter contre l’oppression sociale des pauvres et de les guider afin qu’ils assimilent des normes de conduite jugées désirables. Leurs mesures allaient de la prohibition de l’alcool au suffrage des femmes, des lois pour compenser les victimes d’accident industriel à celles restreignant l’immigration, c’est-à-dire des réformes qui ne cherchaient pas tant à donner un pouvoir ou une influence plus grande aux classes défavorisées qu’à assurer une certaine cohésion sociale et préserver les familles. D’où leur préoccupation pour les piètres conditions de vie dans les logements et le travail des mineurs. 9 Là-dessus, on consultera les travaux de Crawford notamment. . Cet historique s’appuie essentiellement sur l’ouvrage de Robert Halpern (1995), Rebuilding the inner city, Columbia University Press, New York. Voir également Alice O’Connor (1998) « Evaluating Comprehensive Community Initiatives: A View From History » in Connell James P. and al. (eds) New Approaches to Evaluating Community Initiatives, Volume 1. The Aspen Institute Roundtable on Comprehensive Community Initiatives. La version HTML que nous avons consultée en ligne n’étant pas paginée, nous ne pourrons préciser les numéros de page de nos références ultérieures. 10 4 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? L’amélioration des quartiers a rapidement été perçue comme un outil central pour lutter contre la pauvreté, et un de ses tout premiers véhicules la mise en place de « settlements » (une sorte de centre communautaire) qui avait déjà commencé à émerger dans les quartiers défavorisés. Les « settlements » offraient une panoplie de services tels : garderie, programmes parascolaires, couture, sports, camps d’été, théâtre, cours pour adultes, soins de santé de base, aide à l’emploi, alimentation d’urgence, vêtements, logements, etc. Ils devaient être la deuxième maison et la famille de ceux qui y résidaient (leur architecture le reflétait), voire une maison modèle transmettant les valeurs de la classe moyenne11. S’ils ont permis la mobilisation et l’organisation des résidants de la collectivité autour de questions spécifiques, de même que leur éducation quant à leurs responsabilités civiques, leur action n’a pas débouché sur un positionnement politique12. L’approche des « settlements » témoignait d’une certaine réticence à confier aux populations locales le soin d’identifier leurs problèmes, qui étaient sous-représentées dans la composition du personnel des centres et exclues de la prise de décision quant à l’utilisation du financement. Cette conception a empêché le développement d’un sentiment d’appartenance et a entraîné des tensions et des heurts autour de deux questions majeures – celle de l’exclusion des noirs en tant que clients potentiels et celle de l’américanisation des immigrants13. Le mouvement réformateur a commencé à s’essouffler dès les années 1910, particulièrement à cause de l’inefficacité des centres communautaires à freiner la détérioration des conditions de vie des quartiers pauvres. La Première guerre mondiale a accéléré ce déclin en installant un climat d’intolérance et de suspicion envers ce qui évoquait, de près ou de loin, le bolchevisme voire tout simplement la contestation de l’ordre social établi : ceux qui en firent les frais furent les immigrés, dont la plupart vivaient dans des quartiers pauvres, les noirs et les travailleurs (ces catégories n’étant pas, bien évidemment, mutuellement exclusives). Les années 30 ont été marquées par les travaux et les projets de l’école de Chicago. Expérience sociale de prévention de la délinquance juvénile à l’échelle du quartier, Le Chicago Area Project a amené ses concepteurs, Burgess et Shaw, à mettre de l’avant l’importance de l’environnement social dans les causes de la criminalité et plus particulièrement l’effondrement des contrôles sociaux institutionnels et de la structure du quartier, de la difficulté pour certains immigrants d’adapter leurs mœurs et institutions à l’ordre industriel urbain, et du manque http://www.aspenroundtable.org/vol1/oconnor.htm. Cette contrainte s’applique aux autres chapitres du volume 1 et également à ceux du volume 2. 11 . Cité par Halpern, op.cit., p.31. 12 . Trois facteurs y ont contribué : les institutions existantes comme l’Église et les partis politiques ne voulaient pas laisser ce nouvel acteur empiéter sur leurs « plates-bandes »; de surcroît, les populations desservies elles-mêmes percevaient les centres communautaires uniquement comme des fournisseurs de services; enfin et surtout, leurs directeurs les voulaient neutres afin que leur rôle d’intégrateur et de conciliateur dans une société de plus en plus conflictuelle et segmentée puisse être entièrement assumé. Halpern, op.cit., p.31-36. 13 . Pour plus de détails, voir Halpern, op.cit., chapitre 1. 5 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? d’attachement de certaines collectivités locales au reste de la société. Le projet recherchait l’implication des collectivités marginalisées dans l’identification et la solution des problèmes, mais ses promoteurs n’ont pas compris l’importance d’impliquer d’autres acteurs, que ce soit la ville pour qu’elle améliore ses services, les propriétaires de logements pour qu’ils en assurent le maintien ou les banques afin qu’elles soient moins portées à discriminer les populations en question14. Pendant la période 1940-1960, la lutte contre la pauvreté a été menée via deux stratégies intimement liées – la rénovation urbaine et les logements publics – qui se rattachaient à une conception minimaliste de l’aide sociale justifiée par la crainte de développer une dépendance chez les plus démunis. En réalité, seuls les logements publics ont directement ciblé les populations défavorisées, une partie de la rénovation urbaine étant récupérée au profit de la classe moyenne (blanche) et prenant la forme de la reconstruction et de la redynamisation des principaux quartiers des affaires. Selon Halpern, ces deux stratégies se sont complétées : préserver les centres villes et leurs institutions culturelles et commerciales de la marée de migrants noirs (venant du Sud des États-Unis) et renforcer la ségrégation territoriale grâce au zonage et à l’emplacement des écoles, routes et logements sociaux 15 . Cette politique de lutte contre la pauvreté a mis à l’écart les populations locales qui n’ont pas participé ni à l’élaboration des différents projets ni même à la sélection des sites de construction des logements sociaux. Ni les organismes municipaux de planification ni le secteur privé (entre autres les promoteurs immobiliers), n’ont senti nécessaire de faire émerger une structure et des contrôles sociaux ainsi qu’un leadership local, éléments cruciaux pour assurer la cohésion et le maintien d’une collectivité. Il en est résulté que le flux de nouveaux résidants a été mal absorbé, les logements sociaux devenant surtout un refuge pour les familles les plus pauvres et les plus dysfonctionnelles16. L’affaiblissement des liens sociaux et économiques entre les populations des quartiers défavorisés et le reste de la société a été à l’origine du glissement, au début des années 60, de l’objectif d’intégration à celui d’autonomie, de développement séparé et de contrôle par les collectivités des institutions publiques. Ce changement de philosophie s’est traduit par l’apparition d’un nouveau type d’initiatives de quartier, dont les programmes Gray Areas17 et Mobilisation for Youth (MFY) sont les plus importants18. 14 . À Russell Square, l’accent a été mis sur la lutte contre l’appartenance des jeunes aux gangs de rue, en recourant au « curbstone counseling ») – une sorte de travail social. Voir Halpern, op.cit., p. 50-52. Back of the Yards Neighborhood Council est un autre de ces projets. 15 . Halpern, p. 66. En fait, dans les années 50, le parc de logements sociaux a diminué au lieu d’augmenter, ce qui a signifié la détérioration des quartiers les plus dans le besoin. 16 . Les critères de sélection initiaux, comme par exemple la nécessité d’être sur le marché de l’emploi, ont été progressivement délaissés. 17 . L’expression désigne les quartiers situés entre le centre ville et la banlieue. 18 . Voir Halpern, op.cit., p. 89-105 et O’Connor, op.cit. 6 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Lancé en 1961 par la Fondation Ford, le premier visait à (i) préparer les jeunes et les enfants des quartiers pauvres, par l’entremise de l’éducation et de la formation, afin qu’ils soient plus tard compétitifs sur le marché de l’emploi – ce ciblage des jeunes résultant de l’importance attribuée (par la recherche et les élus politiques) à la délinquance juvénile comme problématique de fond globale ; et à (ii) augmenter les capacités et l’implication des principales institutions (école, emploi, police, système pénal) dans ces quartiers,au moyen d’un organisme local chargé d’élaborer avec elles, ainsi qu’avec les autorités municipales et les leaders locaux un plan d’action (absence notable des résidants), et de coordonner l’ensemble de la démarche19. Pour sa part, le MFY, apparu en 1962, a été conjointement conçu par l’Institut national de la santé mentale, le Conseil de la délinquance juvénile du Président, la Fondation Ford et d’autres fondations locales. L’idée était de s’attaquer aux multiples causes de la délinquance en offrant une gamme variée de services afin de changer les conditions de vie du Lower East Side New York. Ce projet mono site était sous-tendu par les théories de Cloward et Ohlin pour qui le comportement délinquant était causé par le manque d’opportunités d’utiliser des moyens socialement acceptés pour atteindre des buts socialement approuvés, poussant les jeunes à adopter les normes de la rue et à rejeter les normes sociétales. Contrairement aux Gray Areas, la MFY a recherché la participation des résidants locaux, souvent issus de minorités ethniques ou culturelles et, plus globalement, le développement d’un leadership local. Son approche « frontale » a suscité des tensions avec certains acteurs institutionnels (comme les écoles ou les bureaux d’assistance sociale) réticents à donner voix au chapitre aux populations locales et à laisser une nouvelle entité occuper le terrain. À l’instar des Gray Areas, la démarche a regroupé un ensemble d’acteurs au centre desquels figurait l’organisme coordonnateur, et a souffert du décalage entre les moyens et les objectifs, en particulier entre l’accent sur le local et les sources extérieures (à la collectivité) des problèmes. Les initiatives précédentes ont convaincu l’administration fédérale que le quartier était l’unité à partir de laquelle la lutte contre la pauvreté devait être menée. En 1964, pendant la présidence Johnson, le Congrès votait le projet de loi « omnibus » Economic Opportunity Act, qui créait le Office of Economic Opportunity (OEO) au sein du bureau exécutif du Président pour diriger et coordonner la nouvelle guerre à la pauvreté. Celle-ci avait pour objectifs d’accroître les opportunités pour les enfants et les jeunes des quartiers pauvres (les adultes aussi mais dans une moindre mesure) et de les préparer à en profiter, ainsi que de s’attaquer à la pauvreté de l’intérieur 19 . La plus grande partie du financement de la Fondation Ford servait à couvrir les frais d’exploitation de cet organisme afin qu’il puisse obtenir des engagements financiers d’autres organisations (publiques ou privées, nationales ou locales) afin de mettre en œuvre la stratégie arrêtée. Mis en œuvre à Boston, Oakland, New Haven, Philadelphie et Washington (D.C), ce programme a été récupéré par la politique fédérale de lutte à la pauvreté quelques années après ses débuts. 7 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? des collectivités défavorisées, entre autres 20 par le biais de l’action communautaire, cadre conceptuel sous-tendu par la foi en la force de l’action collective initiée à l’échelle du quartier et par la conviction que les plus nécessiteux n’ont ni la volonté ni la capacité organisationnelle pour l’exploiter. Un nouvel organisme a été établi pour diriger la stratégie d’action communautaire - la Community Action Agency (CAA), déclinée dans des CAA locales qui devaient mobiliser les ressources des collectivités défavorisées au nom de leurs résidants, et servir de plate-forme pour qu’ils puissent se faire entendre des institutions publiques. Misant sur les services sociaux, l’éducation et la formation à l’emploi, l’action communautaire n’a pas eu, elle non plus, les moyens de ses ambitions, surtout qu’elle est apparue dans une période de forte contestation sociale et de tensions raciales. Dans les faits, elle n’a pas eu un impact notable sur la vie des familles pauvres et les conditions socio-économiques des quartiers défavorisés – ayant été impuissante à attirer des investissements privés – même si elle les a dotés de nouveaux services locaux. Halpern estime que sa véritable contribution est d’avoir établi le principe du droit et de la capacité des plus démunis à prendre des décisions sur des questions qui les concernaient et réuni des groupes qui, autrement, ne l’auraient pas fait, facilitant ainsi un dialogue social21. Autre volet de la guerre à la pauvreté, la nouvelle politique urbaine nationale a été confiée au ministère du Logement et du Développement urbain (HUD) créé à cette fin en 1965. Son premier programme, les Model Cities, visait à renforcer l’engagement et la capacité des gouvernements locaux à réhabiliter les quartiers pauvres et plaçait les autorités municipales au cœur d’une démarche caractérisée par une planification rigoureuse, la concentration des ressources et l’innovation22. Les villes intéressées devaient créer une City Demonstration Agency (CDA) locale – organisme relevant du conseil municipal et regroupant élus, représentants des principales institutions (écoles, services du logement, de santé, d’assistance sociale et de l’emploi), dirigeants d’affaires et du monde du travail – avec lequel elles devaient préparer un plan détaillé. Les Model Cities ont servi à coordonner l’action locale mais également à limiter la participation des résidants du quartier dans la planification des programmes et la gouvernance. En effet, ceux-ci ou les organismes communautaires qui les représentaient, pouvaient intervenir uniquement à titre consultatif, cependant que les CAA n’étaient même pas impliquées; de fait, les 20 . Notre présentation portant uniquement sur les initiatives à l’échelle du quartier ou de la collectivité, nous ne pouvons aborder tous les aspects de cette stratégie nationale. 21 . Halpern, p. 115-116. Malgré le fait qu’une grande partie du travail des CAA était consacré à la supervision de programmes élaborés par l’OEO, pour lequel préparer les résidants de la collectivité aux tâches liées à la prise de décision et à la gouvernance n’était pas une priorité, elles administraient directement un cinquième des programmes. 22 . C’est dans un contexte d’émeutes raciales que le Sénat a étudié puis modifié (1966) la proposition de programme qui prévoyait l’injection de fonds très substantiel dans quelques projets urbains. Résultat : le nombre de villes passait à 75 (et à 150 deux ans plus tard) alors que le financement était réduit de 500 à 300 millions de dollars. 8 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? stratégies en matière de services étaient déterminées par les bureaucraties fédérales. La décision de l’administration Nixon de déclarer la crise urbaine terminée et de se réorienter vers le respect de la loi et de l’ordre (1969) a sonné le glas des Model Cities. Leur expérience a tout de même mis en lumière des éléments clés concernant les modèles pilotes de programmes sociaux23, sur lesquels les CCI subséquentes ont pu travailler : difficulté de coordonner plusieurs organismes ; existence de tensions entre, d’une part, les objectifs d’expérimentation en vue de la réplicabilité et de l’amélioration du programme et, d’autre part, les objectifs d’une gestion efficace du modèle local – tensions qui ne découlent pas de l’incompatibilité de ces objectifs, mais du développement de priorités différentes des nombreux acteurs impliqués ; gaspillage des ressources qui sont presque toujours limitées ; processus législatif qui débouche systématiquement sur l’octroi de ressources inférieures aux prévisions initiales. L’approche à l’échelle du quartier la plus forte dans la lutte contre la pauvreté est née des efforts des résidants et des groupes communautaires (afro-américains surtout) des collectivités démunies elles-mêmes et non de l’administration fédérale ou des autres paliers de gouvernement. À partir de 1965, les leaders de certaines d’entre elles ont décidé de prendre le développement économique de leurs collectivités en mains convaincu, qu’il n’était pas à l’ordre du jour des différents gouvernements. Le vecteur de cet axe fut les Community Development Corporations (CDC), organisations appartenant à la collectivité et constituées localement. Vers les années 196769, l’administration fédérale a commencé à s’impliquer dans les CDC, via son Special Impact Program (instauré par le Equality Opporunity Act) qui devait encourager le développement des affaires dans les quartiers pauvres et de soutenir le renouvellement des infrastructures locales. Au plan du financement, les années 80 ont vu le retrait du gouvernement fédéral et son remplacement par des fondations privées, particulièrement la Fondation Ford. La première génération de CDC (vers 1965) s’est attaquée aux dysfonctionnements du marché – en misant sur le développement et la gestion de projets commerciaux, de logement, de parcs industriels (infrastructure matérielle pour les entreprises) et d’opérations manufacturières – mais également à toute une gamme de problèmes locaux comme le manque d’accessibilité aux soins de santé, la désorganisation des organismes de services pour les jeunes, l’éclairage des rues, le ramassage des ordures ménagères ou même la protection policière. Partant du principe que des projets moins nombreux mais plus globaux ont un impact plus sensible, les CDC ont élaboré des plans où développement des affaires et logement étaient intégrés dans une vision d’une collectivité renouvelée24. Elles se sont révélées être des institutions viables, avec un fort esprit communautaire, une gestion rigoureuse, des outils ayant permis aux minorités de contrôler et de gérer les capitaux 23 . O’Connor, op.cit. . Halpern, op.cit., p.138. 24 9 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? investis, comme jamais par le passé. En revanche, leurs efforts se sont heurtés à l’ampleur de la détérioration des conditions de vie. Avec le temps, elles sont devenues plus petites et plus pragmatiques, ciblant des niches spécialisées et créant moins d’emplois. L’arrivée des fondations comme bailleurs de fonds n’a pas empêché la baisse du financement ni le recentrage des CDC autour de la réhabilitation des logements (et non plus la construction), et du développement de l’immobilier commercial et d’entreprise. Les CCI actuelles s’inscrivent donc dans un courant d’interventions à l’échelle de la collectivité destinées à lutter contre la pauvreté urbaine. Dans l’ensemble, les expériences passées ont souffert de la persistance d’une vision de la pauvreté comme condition imputable aux individus eux-mêmes, du décalage entre les ressources limitées mises à leur disposition et les objectifs généraux qui leur étaient fixés, du manque de durabilité alors même que ces objectifs commandent une planification à long terme, ainsi que de l’absence d’une approche véritablement intégrée (multisectorielle, multipartenariale, multisystémique). Avec le désengagement de l’État fédéral sont réapparus les premiers promoteurs des initiatives à l’échelle locale – les organismes de charité – sous une nouvelle forme, celle de fondations privées. Pour autant, on ne peut pas parler d’un « retour à la case départ ». D’abord, ce retrait n’a pas été complet, plusieurs de ces programmes finançant certaines des activités des CCI établies par les fondations. Ensuite et surtout, contrairement aux « settlements », les CCI ne se contentent pas de donner les services minimum de base25. Les CCI sont donc en quelque sorte l’aboutissement de toutes ces expériences dont elles ont pu s’inspirer et auxquelles elles ont emprunté d’importants principes opératoires26 : - Une analyse axée sur les causes environnementales, la complexité et l’interrelation des problèmes sociaux, de laquelle il découle que les différences individuelles et collectives sont dues à des éléments externes, et donc qu’elles peuvent être modifiées. - La reconnaissance de l’importance des zones géographiquement délimitées comme bases des liens sociaux communautaires, unités maniables pour lancer une réforme sociale et laboratoires d’expérimentations sociales. - L’utilisation des institutions comme levier pour stimuler les changements individuels et sociaux. - Le rôle primordial des connaissances pour la planification, l’éducation publique, et l’apprentissage pour le bien du progrès social. - L’idée que l’isolement du défavorisé est un facteur clé à l’origine de l’apparition et du maintien de la pauvreté et des inégalités sociales. 25 . Plus fondamentalement, contrairement à eux, elles n’appréhendent pas la pauvreté comme une problématique contagieuse exigeant de séparer ceux qui en sont affectés de ceux qui ne le sont pas, les pauvres « méritants » des autres. 10 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Un financement limité servant principalement à constituer et à faire fonctionner un centre - opérationnel chargé d’aller chercher les fonds octroyés dans le cadre de divers programmes sociaux et de les répartir, et préparer et mettre en œuvre une stratégie d’action, en l’occurrence des plans globaux de redéveloppement pour les quartiers défavorisés. Les CCI ont aussi repris l’une des caractéristiques de certaines de ces initiatives (tels les projets - de l’École de Chicago), à savoir une approche axée sur la théorie. Les caractéristiques des CCI27 Les objectifs De façon générale, les CCI poursuivent trois objectifs. Premièrement, elles cherchent à susciter (i) une transformation importante de quartiers défavorisés et (ii) le développement d’un processus d’amélioration durable au plan de la situation et des opportunités des individus et des familles qui y résident. Deuxièmement, elles s’efforcent de changer la nature de la relation entre les quartiers et les systèmes situés à l’extérieur de la collectivité locale, tels les services de santé, d’assistance sociale et de l’emploi. Enfin, et là réside toute leur complexité mais également leur originalité, elles visent à favoriser des changements locaux prenant appui sur des ressources et des connaissances locales mais également externes. Les CCI ont donc l’ambition de générer des transformations à trois niveaux : ¾ Individuel et familial : renforcement des capacités, élaboration et mise en œuvre d’activités dans les domaines de la santé, de l’emploi, du logement…. bref ce qui touche à la qualité de vie des habitants. ¾ Local (le quartier) : améliorer l’accessibilité et la qualité du soutien social ainsi que les infrastructures matérielles du quartier, augmenter le nombre de débouchés économiques, consolider les institutions locales en place ou en créer de nouvelles, offrir une meilleure qualité de la vie collective en dotant le quartier d’une capacité de gérer les conflits ou de développer des réseaux personnels solides. ¾ Systémique : de la capacité des CCI d’effectuer des changements systémiques dépend la durabilité des deux autres niveaux de changement. Cela peut aussi bien passer par l’amélioration de la quantité et de la qualité des services et activités des systèmes externes au quartier – que ce soit le milieu scolaire, la justice, le commerce ou les services sociaux – que par une plus grande accessibilité de la population locale aux débouchés économiques des municipalités ou des régions. 26 . O’Connor, op.cit. . Voir Voices of the Field et Voices of the Field II. 27 11 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Ainsi, tout en ayant en commun une action simultanée sur trois niveaux, les CCI ont à leur disposition des activités ou stratégies très diversifiées et, par conséquent, peuvent être très différentes les unes des autres. Les principes des CCI De ce qui précède découlent les deux principes clés des CCI. La globalité se traduit par des activités multisectorielles: l’étendue et l’amélioration de services sociaux, l’éducation et la formation, le développement économique, la redynamisation physique et l’amélioration de la qualité de vie. Le second est le renforcement des capacités de la collectivité : celles des individus, grâce notamment au développement du leadership ; celles des groupes, par le biais du renforcement des réseaux sociaux ; et celles des organisations afin qu’elles puissent offrir leurs produits et services de façon plus efficace et interagir avec les acteurs à l’extérieur du quartier de manière à maximiser les ressources et coordonner l’action qui y est menée. S’il n’est pas un principe en tant que tel, le temps est un facteur clé qui sous-tend la démarche des CCI. Leurs objectifs et principes ne sont réalistes que dans la mesure où l’on se place dans le long terme. Mais ce facteur temporel se manifeste également sous une autre forme : les CCI n’émergent pas subitement dans une collectivité, sous l’impulsion des autorités ou plus vraisemblablement des organismes communautaires ou des fondations. La plupart des CCI voient le jour dans des collectivités où ces acteurs sont déjà actifs ou bien dans des collectivités qui ont une expérience en matière de lutte intégrée contre la pauvreté, de développement local et d’implication des citoyens. Les CCI sont bien souvent le résultat d’un processus amorcé quelques années auparavant, ce qui confère à leur démarche une assise solide. Le cas de la Cleveland Community Building Initiative (CCBI) est une excellente illustration de cet enracinement. En 1987, le soutien des fondations Cleveland et Rockefeller à la Mandel School of Applied Social Sciences a débouché sur la fondation du Center on Urban Poverty and Social Change. Dans les suites du rapport de ce dernier sur la pauvreté à Cleveland, en 1990, la première a mis sur pied la Commission sur la pauvreté (regroupant une trentaine de membres du milieu politique, associatif et des affaires) pour élaborer un plan de lutte à long terme contre la pauvreté persistante de la ville. En 1992, elle a fait connaître ses recommandations dans un document majeur qui soulignait la nécessité de s’attaquer à cette problématique par le biais d’une approche intégrée et de partenariat, de cibler les investissements, l’éducation, la santé, ainsi que le développement de la famille et des ressources humaines, et d’impliquer les résidants et les organisations du quartier, de même que les organismes municipaux chargés de leur redynamisation. De cette commission est né le Cleveland Community-Building Initiative Council (CCBIC) qui a poursuivi le travail et préparé un plan de mise en œuvre, choisissant quatre quartiers, dénommés « villages », pour l’éprouver : l’Est, le Centre, l’Ouest et Mont Pleasant. Dans un dernier temps, en 1993, le CCBIC s’est transformé en Cleveland Community-Building Initiative (CCBI) dont on peut dire que son axe de travail est dans le prolongement des réflexions de la Commission et, à travers elle, de celles des praticiens impliqués localement à l’échelle de la collectivité. 12 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Les choix stratégiques des CCI28 Par essence, certains enjeux sont primordiaux pour les CCI qui y ont répondu de différentes façons. Par rapport à la gouvernance, elles développent des mécanismes pour guider la planification, la prise de décision, la mise en œuvre et contextualiser l’obligation de rendre des comptes. Les structures choisies par les CCI regroupent, le plus souvent, un ensemble de parties prenantes, tels les résidants et les propriétaires de commerces du quartier, les dirigeants locaux, les représentants d’organismes communautaires, des membres d’organismes du secteur public et ceux du secteur privé. Ces structures peuvent prendre la forme soit d’une entité existante soit d’un nouveau mécanisme comme une coalition. Avantages Permet une amélioration plus importante des Entité conditions de vie des individus et de la existante collectivité grâce à un personnel professionnel et une meilleure assistance technique. • Permet une représentativité des nombreux Nouvelle entité acteurs de la collectivité, donc d’avoir un impact sur l’ensemble de cette dernière. • Structure plus flexible qui permet de faire des expérimentations ou de l’exploratoire. Désavantages • Cherche à protéger ses intérêts en cause. • Possède déjà une manière de faire, ce qui se traduit par des contraintes opérationnelles. • Nécessité d’élaborer des procédures opératoires et de leur donner une légitimité. • Fonctionnement plus lent dû à un trop grand nombre de partenaires. • Survie liée à la poursuite du financement. Cela dit, les différences entre les deux options ne sont pas toujours aussi tranchées et, quel que soit le type de structure choisi, l’approche des CCI implique des changements au plan du mode de travail. Ainsi, la difficulté pour la nouvelle structure de se faire accepter des organisations déjà en place ne doit pas être exagérée parce qu’elle inclut toujours des acteurs déjà opérationnels sur le terrain : en fait, les frictions sont surtout susceptibles d’apparaître avec celles ayant été mises à l’écart et ont trait aux rapports de force à l’œuvre dans la nouvelle entité. Pour sa part, la structure existante doit relever le défi d’interagir différemment que par le passé avec les autres acteurs avec lesquels elle était auparavant en interaction, qu’ils soient de la collectivité ou de l’extérieur. Le financement est un autre enjeu majeur pour les CCI. En dépit du désengagement de l’administration fédérale, les fonds publics ont continué de les financer indirectement par l’entremise de divers programmes nationaux auxquels les fondations font appel. Il n’empêche que le financement octroyé est largement insuffisant compte tenu des objectifs et des ambitions des CCI. Pour la majorité d’entre elles, il ne couvre pas les coûts permanents des programmes mis en 28 . L’évaluation en est un mais sera abordée dans la prochaine section. 13 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? œuvre, mais plutôt la planification et la gestion, le renforcement des capacités, la recherche de financement de nouvelles activités, etc. De même qu’elles n’ont pas vocation à se substituer aux activités et services « courants », leurs fonds ne remplacent pas les principales sources de financement du secteur public, bien au contraire : en plus d’aider à ce que le financement courant soit augmenté et surtout utilisé le plus efficacement possible, ils servent à obtenir le soutien de sources extérieures de financement. Un financement prolongé s’avère vital parce qu’il conditionne la mise en œuvre d’une stratégie à long terme et la poursuite de ses objectifs ainsi que la capacité à cibler davantage les processus, contrairement à un financement limité dans le temps qui incite à la réalisation rapide de « produits ». La question du financement, c’est aussi celle du rôle du bailleur de fonds qui, de par la nature même de sa contribution, tend à étendre son influence et son contrôle sur l’élaboration du cadre conceptuel de l’initiative ou sur la détermination de ses objectifs. Comme les CCI veulent créer un véritable partenariat dans lequel le bailleur de fonds et les acteurs de l’initiative pourront progresser, leur intérêt n’est pas tant de limiter ses prérogatives que d’établir une relation de confiance entre eux et lui. En ce qui concerne l’assistance technique, il est nécessaire de déterminer qui en aura la charge et quel en sera le contenu. Comme pour les autres stratégies opérationnelles, plusieurs possibilités sont offertes : ici, elle sera centralisée chez le bailleur de fonds, là chez un consultant externe ; dans certains cas, elle portera sur les processus (gouvernance ou planification stratégique par exemple), dans d’autres sur les programmes (notamment l’offre de services, l’utilisation de terrain ou la maîtrise d’instruments financiers). Cependant, parce que la CCI cherche à transmettre aux acteurs locaux la capacité de faire, l’assistance technique n’a pas pour fonction de prendre les choses en main mais simplement d’offrir des solutions potentielles à des problèmes clairement identifiés. L’appropriation des enjeux par les acteurs locaux (et à travers eux de toute la collectivité), qui est la pierre de touche de ces dernières, exige qu’ils soient non seulement impliqués mais qu’ils restent maîtres de l’intervention et surtout qu’ils puissent apprendre à chaque étape. C’est pourquoi les praticiens des CCI penchent pour une assistance technique limitée à ce qui est technique (mise en place d’un projet immobilier par exemple), par opposition à ce qui relève des processus (comme la planification stratégique). L’une des formes les plus prisées d’assistance technique est le « coaching » qui permet aux animateurs de l’initiative de se faire conseiller et aider tout en les laissant prendre les décisions importantes. Le personnel d’une CCI occupe une place beaucoup plus importante que dans les programmes plus traditionnels en raison du grand nombre de responsabilités qui lui incombent. En effet, l’approche des CCI demande un constant travail de définition à mesure qu’elles avancent, ainsi que la gestion de leurs diverses composantes. En outre, la présence de participants animés 14 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? d’intérêts divergents, de même que l’ampleur des objectifs, exigent du personnel des qualités de médiation et de négociation. Un modèle logique Nous y reviendrons dans la partie sur l’évaluation mais il faut souligner que les CCI se présentent sous la forme d’un enchaînement d’activités et de résultats à court, moyen et long terme, et que la présence de ces éléments mais surtout les liens qu’ils entretiennent reposent sur des théories étayées par des résultats de recherche et des expériences de terrain. Par exemple, la décision de recourir à une thérapie familiale devra être rattachée à un résultat et appuyée sur des études. Plus important encore, ce modèle logique est le produit de discussions et de négociations entre les partenaires de la CCI. Cette approche axée sur la théorie permet de savoir dès le départ quel est le point d’arrivée souhaité, de même que de mieux en asseoir les composantes, mais exige d’être au courant des connaissances scientifiques pertinentes. À l’opposé, les CCI sont solidement enracinées dans la collectivité, donc très axées sur le local : elles misent d’ailleurs sur la fine connaissance, par les acteurs locaux, de ses caractéristiques pour élaborer une stratégie taillée sur mesure pour elle, c’est-à-dire qui en cible les véritables problèmes et en exploite les forces. Un indice de cet enracinement est le contexte historique dans lequel naît la plupart des CCI. Loin d’émerger du jour au lendemain, elles s’inscrivent dans un courant de démarches et d’efforts locaux dont elles seraient un aboutissement. La gestion des CCI : un exercice délicat La présence de partenaires aux intérêts et à la vision parfois diamétralement opposés suscite des tensions autour de deux questions fondamentales. La première, celle du type de résultats à atteindre (les objectifs), est problématique parce qu’elle se pose dès les tout débuts de l’initiative : faut-il mettre l’accent sur les produits ou les processus? D’un côté, ceux qui souhaitent axer l’intervention sur la réalisation de produits concrets – construction d’unités de logement, nouvel éclairage dans les rues, etc. – pour répondre directement aux besoins de la collectivité; de l’autre, ceux qui misent plutôt sur le développement de la capacité de cette dernière à s’attaquer à ses problèmes actuels et futurs. Alors que les premiers visent à améliorer la situation locale immédiatement, les seconds sont davantage préoccupés par la durabilité des changements et la capacité des collectivités à les reproduire après l’initiative. 15 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Cette question concerne plusieurs opérations 29 des CCI. Par rapport à la gouvernance, elle se pose surtout lors de la phase de démarrage de l’initiative puisque la mise en place d’un processus assure, par la suite, la réalisation de produits visibles. C’est dans cette optique que les CCI favorisent la participation des résidants et des organisations du quartier dans la structure de gouvernance, une sorte de compromis qui n’est certes pas le moyen le plus rapide de « livrer des produits » mais renforce l’initiative et en assure la durabilité. Au plan du personnel de la CCI et de l’assistance technique, le dilemme est le suivant : vaut-il mieux disposer d’un personnel technique capable d’accomplir lui-même les tâches, ou d’un personnel capable de réunir les acteurs et de soutenir leurs efforts afin de réaliser des choses en commun ? S’il est plus facile et plus tentant de recourir à la consultation externe pour mener certaines tâches, la logique des CCI est plutôt d’investir pour développer la capacité du personnel ou des acteurs locaux à effectuer ce même travail sur une base continue. Enfin, les activités programmatiques ne seront pas les mêmes selon que l’initiative cible les produits ou le processus. Il semble toutefois que les CCI soient parvenues à résoudre ce problème en mettant à l’ordre du jour le renforcement de la collectivité de façon intégrée à tous les niveaux du travail programmatique (ce qui passe par une plus grande participation des résidants et le développement du leadership) et en développant des activités de mobilisation de la collectivité et des programmes d’approche qui impliquent l’engagement des différents partenaires dans un processus de planification et de vision dans un premier temps, et l’élaboration et la mise en place des programmes dans un deuxième temps. Le second irritant a trait à l’opposition entre les acteurs locaux et les acteurs de l’extérieur de la collectivité, principalement le bailleur de fonds. Cette tension entre l’interne et l’externe, qui tourne autour d’enjeux de contrôle, d’autorité, de responsabilité et d’obligation de rendre des comptes, est pour ainsi dire naturelle : d’un côté, celui qui investit s’attend à pouvoir influencer l’initiative, voire à en déterminer certains éléments; de l’autre, ceux qui en sont les principaux animateurs veulent en rester maîtres. Plutôt que de simplement mieux répartir le contrôle, les CCI préfèrent rapprocher les parties en développant entre elles un autre type de relation, et exploiter leurs forces afin qu’elles mettent en place un mode de travail collectif. En bout de ligne, il y aura bel et bien une redistribution du pouvoir au profit de l’initiative mais elle s’inscrira dans un nouveau contexte relationnel qui la rendra possible, voire normale. Au niveau de la gouvernance, deux difficultés apparaissent. S’il existe bien souvent un consensus sur la nécessité d’inclure les résidants locaux dans les conseils de gouvernance et, plus largement, d’y intégrer l’ensemble des intérêts organisationnels et individuels, l’on ne s’entend pas 29 . L’évaluation est l’une d’entre elles mais ne sera pas traitée ici. 16 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? toujours sur l’identité de ceux qui les représentent. Il y a souvent décalage entre le désir des acteurs de la CCI de faire participer les nombreuses composantes de la collectivité et la préoccupation des bailleurs de fonds de le faire de façon limitée afin de ne pas alourdir la structure de gouvernance. Une seconde difficulté est le déplacement, au cours de la CCI, de la frontière entre l’extérieur et l’intérieur par les membres de la structure de gouvernance dont le rôle est appelé à changer : ainsi, il peut arriver que les habitants de la collectivité qui, grâce aux activités d’« empowerment », ont émergé comme leaders locaux et, par conséquent, acquis un nouveau statut et de nouvelles responsabilités, soient perçus par les autres résidants comme des « étrangers » et non plus comme des défenseurs ou des représentants des intérêts locaux, au même titre que les autres acteurs situés à l’extérieur de la collectivité. Pour l’assistance technique, la question est de savoir lequel des acteurs en aura le contrôle et pourra décider à qui, quand et sous quelles formes elle sera donnée. Nous avons dit plus haut que les CCI s’efforcent d’éviter de dépendre de l’assistance technique ou plus exactement des experts qui la fournissent, préférant miser sur les capacités des collectivités à travers le développement des compétences des individus afin que l’expertise soit située, à plus long terme, dans la collectivité. Une telle conception a pour corollaire que la CCI est moins outillée à court terme pour solutionner les problèmes qu’elle rencontre, d’où l’opposition de certains acteurs désireux d’y répondre le plus rapidement possible. Les CCI contemporaines Les CCI telles qu’on les connaît aujourd’hui ont commencé à émerger à la toute fin des années 80 et au début des années 90. Parmi les premières expériences pilotes, mentionnons le Community Building Partnership de Baltimore, le Atlanta Project, le Neighborhood and Family Initiative (Milwaukee, Détroit, Hartford et Memphis) ou le Comprehensive Community Revitalization Project de New York. Une seconde génération de CCI a vu le jour par la suite, parmi lesquelles la Rebuilding Community Initiatives (dans cinq villes) et la Neighborhood Partners Initiative de New York. Nous en présentons quelques-unes. The Atlanta Project (TAP) Lancé par l’ancien président Carter en 1991, le TAP aide les collectivités urbaines défavorisées du Sud de la ville (à majorité noire) à avoir accès aux ressources dont elles ont besoin pour solutionner les problèmes qu’elles ont identifiés. Ses objectifs touchent aux changements systémiques, à la collaboration, à la participation des habitants et à leur « empowerment », ainsi qu’aux partenariats corporatifs. Son financement est essentiellement assuré par des corporations et des fondations privées. Au cours des cinq premières années, le TAP a ciblé 20 régions (plus 17 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? précisément des regroupements de quartiers) dans et autour d’Atlanta pour une population de 500 000 personnes, et a travaillé dans six secteurs : les enfants, les jeunes, le développement économique, la santé, le logement, la sécurité publique. Les 20 bureaux régionaux ont été établis dans des écoles secondaires. Débutée en 1997, la phase II s’est concentrée sur les relations entre les secteurs public et privé pour faciliter le passage de l’assistance sociale au travail, l’élaboration de programmes de pré-maternelle, et la création de services de santé dans ou près des écoles afin d’augmenter le nombre d’enfants immunisés. La politique du TAP est définie par un comité consultatif qui comprend des représentants du monde des affaires local, des autorités gouvernementales et des leaders de la collectivité. Le plan stratégique de chaque regroupement de quartier est élaboré par un comité directeur des résidants avec l’aide d’un coordonnateur recruté localement. Dans l’ensemble, le TAP a mis en place un large éventail de mesures dont : Le America’s Youth Passport, une brochure donnée aux nouveaux parents contenant diverses données relatives à leur enfant, dont les empreintes digitales, une photo, les vaccins, ainsi que des informations sur la nutrition des enfants, la prévention des blessures et le « parentage »; La participation de certains quartiers au programme fédéral de crédits d’impôt à l’emploi (le Job Tax Credit) qui permet d’attirer des investissements et de créer des emplois pour les résidants ; La Immunization/Children’s Health Initiative grâce à laquelle 16 000 enfants ont été vaccinés et une base de données informatique a été créée ; L’injection de 100 millions de dollars et de 150 millions en mesures fiscales incitatives dans les 30 quartiers les plus pauvres, via la CCI fédérale EZ/EC (présentée plus loin) ; La mise en opération de TAPJOBS, en collaboration avec des agences de placement d’emploi et la communauté des affaires et universitaire, afin de donner aux résidants qualifiés un accès à des opportunités d’emploi à long terme ; FutureForce, un programme de formation de leadership destiné aux adolescents à risque pour les aider à surmonter leurs difficultés à la maison et à l’école ; Le Community Development Funds, constitué grâce à des levées de fonds et qui vient en aide aux organismes de quartiers à but non lucratif ; TAP Into Peace, un sondage de personne à personne effectué par 4 000 bénévoles afin de demander aux habitants leur opinion en matière de lutte contre la criminalité ; Le programme Code Enforcement, initiative qui s’est attachée à informer les résidants de leurs droits, à utiliser les procédures existantes pour rapporter la commission d’infractions, et à les comptabiliser dans un logiciel informatique. 18 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Le programme Empowerment Zones/Enterprise Communities (EZ/EC) Élaboré en 1993 par l’administration Clinton et placé sous l’égide du HUD, il vise à stimuler les possibilités économiques des collectivités défavorisées (rurales et urbaines) en créant des opportunités d’emploi et d’affaires. La souplesse du programme donne aux sites sélectionnés une grande liberté. Si leurs stratégies et activités doivent, en théorie, refléter quatre principes fondamentaux - opportunités économiques, partenariats à l’échelle de la collectivité, développement durable de la collectivité et vision de changement stratégique – la réalité est autre, le premier occupant le haut du pavé et le dernier étant souvent secondaire. Depuis le lancement du programme, trois rondes de désignations ont eu lieu, le principal critère retenu étant le taux élevé de pauvreté dans la collectivité. En 1994, 105 collectivités dans le besoin à travers le pays ont été qualifiées de EZ ou de EC, auquel se sont ajoutées 40 autres en 1999. Fin 2000, le programme a été étendu via la Renewal Tax Relief Act qui a créé les Renewal Communities (RC), le fédéral en désignant 40 dans la foulée, et la qualification de 9 nouvelles EZ. L’année 2001 a également été marquée par l’élargissement du dispositif. Les EZ (urbaines et rurales) sont financées à hauteur de 100 millions de dollars urbaines contre 40 pour les EC, pour un total d’un peu moins de quatre milliards de dollars (1,5 en subventions et 2,5 sous forme d’encouragement fiscal) en 1999. Les fonds prennent la forme de subventions globales flexibles pour les services sociaux et d’allégements fiscaux pour les secteurs (géographiques) d’affaires. Il en découle qu’il existe une multitude d’activités, de programmes et de projets différents qui sont mis en œuvre dans le cadre de ce programme national. Le Comprehensive Community Revitalization Program (CCRP) Initié en 1991 sous l’impulsion de la Fondation Surdna, le projet pilote CCRP avait pour mission première d’aider et de renforcer des Community Development Corporations (CDC) du Bronx-Sud dans leur travail d’élaboration et de mise à l’épreuve de stratégies visant la redynamisation de globale de la collectivité, notamment en exploitant leur savoir-faire en matière de construction de logements et de gestion de propriété. Six CDC furent choisis: la Banana Kelly Community Improvement Association, la Mid Bronx Desperadoes Community Housing Corporation, le Mid Bronx Senior Citizens Council (MBSCC), la Mount Hope Housing Corporation Inc., la Phipps Community Development Corporation (West Farms), et la Promesa Housing Development Fund Corporation. Le choix s’est porté sur le Bronx-Sud parce qu’il était à un tournant de son histoire. Au cours des années 60 et 70, les conditions de vie s’étaient grandement détériorées : aux actes de vandalisme généralisés et à la vague d’incendies criminels avait succédé un exode des habitants et 19 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? des organismes communautaires, de même que la perte de nombreux emplois. Les années 80 ont été celles de la renaissance grâce à l’action de plusieurs CDC, soutenues par les autorités municipales et des fondations, qui commencèrent à rebâtir physiquement leurs collectivités en construisant des logements sociaux. Durant la décennie suivante, il a bien fallu admettre que les investissements nécessaires dans les services et l’infrastructure pour soutenir une véritable vie communautaire manquaient. Il fallait créer une gamme de services et d’équipements pour donner une meilleure qualité de vie aux nouveaux résidants. C’est pour permettre aux CDC de répondre à ce défi que le CCRP a été créé. Même si les CDC tentaient de faire plus que du locatif et avaient conscience des besoins de leur collectivité, elles n’avaient pas développé les relations locales et externes nécessaires pour y répondre. Il leur manquait une vision globale ainsi que l’engagement véritable de leur collectivité. La CCRP a mis l’accent sur une collaboration à l’échelle de la collectivité plutôt que sur la création d’une nouvelle structure de gouvernance de quartier. Quelques hypothèses clés sous-tendent sa démarche : - Les CDC déjà en place qui ont mis en œuvre des programme de logement à grande échelle sont les organisations appropriées pour diriger des efforts de redynamisation intégrés à l’échelle de la collectivité. - Dès le début, la CCRP devrait donner une aide et une assistance technique aux CDC afin d’aider à s’assurer qu’elles créent la capacité à initier et exécuter des stratégies de redynamisation globales. - La CCRP devrait donner le premier investissement monétaire pour aider les projets des CDC à aller chercher des fonds privés ou publics additionnels. - La CCRP devrait aider les CDC à apprendre les unes des autres au cours de l’initiative et à collaborer entre elles pour permettre des changements à plus grande échelle. - L’« empowerment » des habitants de la collectivité devrait être une stratégie centrale des efforts de redynamisation de la collectivité, afin que les résultats puissent être maintenus et la dépendance à l’égard du programme diminuée à long terme. - Plutôt que s’attaquer aux problèmes interreliés à la pièce, les systèmes de fourniture de services doivent être plus intégrés. - La planification et la mise en œuvre doivent se dérouler simultanément. Le CCRP a mis l’accent sur quatre domaines mais les CDC ne les ont pas tous exploités autant les uns que les autres: • Les soins de santé, via l’offre de services dans des secteurs caractérisés par un manque de ressources en la matière et l’obtention d’investissements supplémentaires provenant d’autres sources. 20 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? • Le développement économique : plusieurs projets ont été lancés comme celui d’un nouveau centre commercial, d’un nouveau programme de prêts ou de commerces de traiteur. L’action du CCRP a pris la forme d’investissements initiaux, d’assistance technique et d’aide-conseil aux CDC. Le MBSCC a surtout misé sur ce champ, cherchant à créer des emplois et, par là même, apporter des revenus à la collectivité. L’approche préconisée a consisté à mettre sur pied de nouvelles entreprises s’inscrivant dans le prolongement naturel de l’expertise à long terme de cette CDC en matière de fournitures de services aux personnes âgées. D’autres entreprises ont visé à s’intégrer aux programmes destinés aux familles et aux enfants. Dans la grande majorité des cas, les projets ont pu démarrer grâce au financement ou l’aide du CCRP mais son action a surtout joué le rôle de levier pour obtenir des fonds d’autres sources. • L’emploi : la création d’emploi et l’amélioration de l’accès à l’emploi ont été traitées à part parce qu’il s’agissait de questions véritablement problématiques dans la mesure où les populations des quatre CDC étaient sévèrement touchées par le chômage. D’où leur initiative commune, début 1996, avec la Federation Employment Service, de laquelle est issu le New Bronx Employment Service qui leur permet de répondre aux différents besoins de leurs résidants en matière d’évaluation de l’emploi, d’ateliers de préparation à l’emploi, de placement d’emploi, de programmes de counseling pour les soins aux enfants ou de programmes d’orientation vers les services sociaux. • La qualité de vie : le CCRP a aidé les CDC à combler des lacunes au niveau des infrastructures, notamment en construisant six parcs et en développant des projets d’espaces ouverts, cependant que fortes de leur expérience, les CDC ont poursuivi la construction de logements. La principale réussite est d’avoir réussi à attirer 100$ de financement d’autres sources pour chaque dollar investi par le CCRP, ce qui s’est traduit par l’implication de plusieurs acteurs locaux, dont les autorités municipales et, par conséquent, par l’élargissement des réseaux des CDC. La Cleveland Rebuilding Community Initiatives (RCI) Lancée en 1994 par la Annie E. Casey Foundation (AECF), la RCI de Cleveland cherche à faciliter des changements dans de nombreux domaines pour améliorer globalement les conditions de vie des enfants et des familles de certains quartiers. Ses objectifs de changement sont de deux ordres : ceux directement reliés aux expériences et au bien-être des enfants et des familles (niveau individuel) ; ceux qui concernent les organisations, les institutions et les services publics (niveau systémique). Le projet a ciblé cinq quartiers, choisis en fonction de critères comme la défavorisation économique, l’intérêt manifesté par les autorités municipales pour la RCI, la probabilité de trouver 21 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? des partenaires dans les quartiers mais également locaux et nationaux prêts à s’engager dans le long terme, présence d’une initiative en cours à laquelle participent les habitants et les organismes et institutions clés, un organisme communautaire de quartier qui soit le chef de file en la matière. Ce critère était capital parce que la logique de la démarche était de bâtir les quartiers en s’appuyant sur les efforts de redynamisation existants des organismes locaux basés dans les collectivités (CBO). Autrement dit, l’approche stratégique de la RCI consiste à aider ces derniers à créer ou renforcer la collaboration locale à mesure qu’ils élaborent et mettent en œuvre leurs projets qui doivent se situer dans les cinq secteurs identifiés par la AECF : • Maximiser la capitalisation et l’impact des ressources et des institutions des quartiers. • Développer un système efficace de fourniture de services à la personne basé dans le quartier et destiné aux enfants, jeunes et familles. • Réformer les types d’investissements existants pour maximiser les impacts positifs sur les quartiers et augmenter les investissements de capitaux privés et publics dans les quartiers. • Améliorer l’infrastructure des logements, physique et sociale. • Renforcer la capacité et l’efficacité des collaborations de gouvernance au niveau des quartiers. La première vague de financement (160 000$) a donc permis aux CBO de préparer leurs plans stratégiques qui allaient guider les stades ultérieurs de l’initiative et servir à impliquer d’autres partenaires pour faire des diagnostics des besoins et opportunités de chaque collectivité. La seconde vague de financement (jusqu’à 1,5 million) a été donnée aux sites dont les plans stratégiques étaient faisables, et devait servir à soutenir le développement des capacités et de partenariats, le lancement et le perfectionnement d’interventions programmatiques, et une planification stratégique additionnelle triennale de développement des capacités. Dans la phase finale triennale de démonstration, les organisations subventionnées et leurs partenaires auraient l’opportunité de planifier et gérer un projet de démonstration sur la capacité du quartier, afin de mettre en application à une plus grande échelle leur travail de développement de la collectivité. 22 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Applications de CCI au champ de la délinquance Le Comprehensive Communities Program (CPP)30 À ses débuts en 1994, le CPP du Bureau of Justice Assistance du ministère de la Justice des États-Unis, a reçu pour mandat d’intégrer l’application de la loi aux programmes sociaux, de même que de faire collaborer les organismes publics et les organisations non gouvernementales ainsi que les individus, afin de contrôler la criminalité et améliorer la qualité de vie des collectivités. La poursuite de ces objectifs a été conditionnée au respect de deux principes fondamentaux, à savoir que (i) les collectivités doivent jouer un rôle de leader dans le développement de partenariats destinés à la lutte contre la criminalité et la violence et (ii) les juridictions locales et des États doivent trouver des approches véritablement coordonnées et multidisciplinaires pour y répondre et s’attaquer aux conditions qui les favorisent. Dès le départ, l’accent a été mis sur la violence des gangs et celle des jeunes. Les sites ont été choisis en raison de leur taux élevé de criminalité violente : parmi les premières villes participantes, Baltimore affichait un taux de 285 pour 10 000, Columbia de 211 et Boston de 176 (la moyenne nationale était de 72). Les deux éléments de base sont la police communautaire et la mobilisation de la collectivité, mais l’on en retrouve d’autres, tels la résolution de conflits, les alternatives à l’incarcération ou les programmes d’intégration pour jeunes. Les sites du CCP se différencient les uns des autres sur plusieurs éléments : - Le territoire ciblé : pour majorité d’entre eux, la municipalité entière est ciblée, mais quelques-uns ont limité l’intervention à certains quartiers tandis que d’autres ont choisi d’inclure plusieurs comtés. - Le type de structure de gouvernance : bureau du maire, département de police, organisme administratif public, gestionnaire municipal. - Les efforts en matière de police communautaire : Boston, par exemple, s’est véritablement engagée dans cette voie, opérant un rapprochement avec la population et les organismes publics et privés après une longue période d’abus et de corruption; Salt Lake City a préféré créer les Community-oriented Officers et les a intégrés dans les Community Action Teams ou CATs (elles comprennent un agent de probation, un procureur de la ville, un spécialiste de la mobilisation communautaire, un autre de la famille et des jeunes, ainsi qu’un coordonnateur des relations communautaires et de mobilisation de la collectivité) dont les membres se rencontrent une fois par semaine 30 . Voir BJA (2001) Comprehensive Communities Program : Program Account. Bureau of justice Assistance Bulletin. Pour le CCP de Hartford, voir Rich.T. and al., (1999) Police Department : Information Systems Technology Enhancement Project. Chapitre 4. Abt Associates Inc, Cambridge. 23 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? afin d’identifier les problèmes locaux, trouver des solutions, coordonner les ressources et mettre les réponses en œuvre; pour sa part, Seattle a formé la ses agents à la police communautaire et a mis l’accent sur la résolution de problèmes. - Les efforts en matière de mobilisation de la collectivité : à Fort Worth, l’on a incorporé des citoyens dans des unités de patrouille; à Boston, des représentants des résidants ont été intégrés au processus de planification stratégique et une « drug court » a été créée; à Salt Lake City, un organisme de surveillance de quartier administré par les résidants – Mobile Neighbourhood Watch – offre une formation donnée par la police pour aider les bénévoles à organiser des activités de lutte contre la criminalité. Exemple du CCP de la ville de Hartford En 1996, la ville de Hartford (Connecticut) s’est jointe aux autres sites du CCP. Son projet a consisté à mobiliser la collectivité, impliquer l’ensemble de la force policière dans la police communautaire (cela avait déjà été amorcé auparavant mais à petite échelle), et axer davantage la gestion municipale sur la collectivité. L’élément central de la stratégie a résidé dans la constitution de « comités de résolution de problèmes » (composés de membres de la collectivités désignés lors d’audiences publiques) dans chacun des 17 quartiers de la ville, dont le rôle était d’identifier les préoccupations des résidants et, avec l’aide d’autres services et organismes municipaux, de mettre en œuvre des programmes y répondant. Les efforts du CCP se sont concentrés sur ces comités, plus précisément en leur donnant une formation en résolution de problèmes – identification et analyse de problèmes, élaboration et mise en œuvre de stratégies, et évaluation de résultats – et en les initiant à la technologie informatique du « mapping ». Après avoir développé le logiciel de « mapping » et d’analyse de données, les autorités municipales ont élaboré les procédures et les systèmes nécessaires afin que les organisations communautaires puissent disposer de certaines données de la police sans avoir un accès direct à toute sa base de données (pour des raisons évidentes de confidentialité). Celles qui ont été retenues fournissaient des informations sur le moment, le lieu et le type (i) de demande de services, (ii) de délits et (iii) d’arrestations, ainsi que sur l’âge, la race et le sexe de la personne arrêtée. Un autre élément du CPP a été l’installation de la Hartford Community Court afin de traiter le plus rapidement possible le problèmes des nuisances publiques. La stratégie Weed and Seed : Lancée par le ministère de la justice américain en 1991, elle vise à mobiliser et engager les ressources des collectivités dans des actions coordonnées. Ses composantes sont au nombre de trois : le « weeding » (nettoyage) concerne les activités d’application de la loi qui cherchent à 24 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? extirper les délinquants violents, les trafiquants de drogue, et d’autres criminels, des zones ciblées ; le « seeding » (littéralement semer, mais il faut y voir l’idée de s’engager dans des activités dont les résultats ne se produiront qu’à long terme) comprend les activités de redynamisation des quartiers et de services à la personne qui devant permettre la prévention et la dissuasion de délits futurs ; et la police communautaire se traduit par une approche axée sur la résolution de problèmes permettant de prévenir et dissuader des crimes les violations de la loi pour contrôler la criminalité violente, le trafic de drogue, la criminalité liée à la drogue et assurer un environnement sécuritaire pour les résidants. Ses trois objectifs clés sont : l’élaboration d’une stratégie intégrée et multi partenariale, la coordination et l’intégration d’initiatives existantes ou nouvelles des autorités fédérales, régionales (au niveau de l’État) et locales ainsi que du secteur privé, d’activités en matière de justice pénale et de services à la personne ; la mobilisation des résidants locaux pour aider les forces de police à identifier et enlever les délinquants violents et les trafiquants de drogue de leur quartier et les autres organismes de service à la personne pour déterminer les besoins locaux de services et y répondre. Les quelque 200 sites opérationnels relèvent de l’Executive Office for Weed and Seed qui délègue ses responsabilités de planification, de mise en œuvre et d’évaluation aux comités directeurs locaux que les sites doivent impérativement mettre sur pied. Présidé par l’Attorney du district concerné, ces comités sont composés de représentants des principaux organismes publics locaux, régionaux et fédéraux, de même que des parties prenantes comme les dirigeants d’entreprise et d’associations de locataires et les autres militants d’action communautaire. Les Communities That Care (CTC) L’approche de l’équipe de Hawkins et Catalano en 1996 exploite les résultats de nombreuses recherches qui ont identifié au fil des ans les facteurs de risque et de protection prédictifs des comportements à problèmes des adolescents (violence, grossesse chez les adolescentes, toxicomanie, décrochage scolaire et délinquance), en particulier la délinquance, et mis en lumière l’effet cumulatif de l’exposition à de multiples facteurs de risque ainsi que l’efficacité des stratégies intégrées qui s’attaquent à plusieurs d’entre eux en même temps (notamment mais pas seulement en renforçant les facteurs de protection). Les études scientifiques rattachent ces deux types de facteurs à quatre contextes sociaux ou domaines : les interactions des individus avec leurs pairs ; la famille, l’école ; et la collectivité. Basée sur la théorie, cette approche n’en est pas moins très pragmatique puisqu’elle prend la forme d’un système informatique qui permet aux collectivités de faire leur propre profil sur une base de données de leurs niveaux de risque et de protection et de choisir les interventions de prévention qui y répondent ou les utilisent le mieux. Le travail de Hawkins et Catalano avec les 25 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? États du Kansas, du Maine, de l’Oregon, de la Caroline du Sud, de l’Utah et de Washington, s’est conclu par l’identification de 22 indicateurs reliés à 12 facteurs de risque primordiaux prédictifs des taux (à l’échelle du comté) de consommation de drogues illicites chez les adolescents, et par l’élaboration d’un sondage destiné aux établissements scolaires qui mesure les résultats en matière de risque, de protection, de délinquance et de consommation de drogues illicites et permet de faire un diagnostic des niveaux de risque et de protection, à l’échelle de l’État et du quartier. Ainsi outillées, les collectivités peuvent ensuite s’engager dans la conception d’une stratégie de prévention taillée sur mesure pour elles. Le système d’exploitation CTC les aide à initier leur démarche, en leur apprenant à utiliser ses outils pour qu’elles puissent choisir les politiques, les programmes et les projets de prévention de la criminalité qui correspondent le plus possible à leurs forces et leurs problèmes. Au cours de la dernière décennie, il a été implanté dans plus de 500 collectivités à travers les États-Unis. Son installation se déroule en cinq étapes : 1. Il faut tout d’abord identifier les collectivités intéressées et leurs parties prenantes clés qui seront impliquées et faire une évaluation des initiatives en cours et des conditions locales, notamment celles qui seraient susceptibles de nuire à l’installation du système. 2. Dans un deuxième temps, l’équipe CTC met les acteurs locaux en contact avec celui-ci, en essayant d’impliquer autant des membres d’organismes communautaires concernés par la délinquance juvénile et le développement des jeunes que des dirigeants de la collectivité. Ce sont eux qui définissent ensuite une vision d’avenir pour cette dernière et créent ou désignent l’organisme responsable d’élaborer les activités pour y parvenir ; cette entité multi sectorielle inclut un conseil d’administration composé des principaux dirigeants qui supervise la planification et la mise en œuvre des activités, ainsi qu’un conseil communautaire représentatif des divers groupes locaux. 3. Au cours de la troisième phase, ce conseil effectue un diagnostic de sécurité qui comporte les tâches suivantes: l’élaboration, sous forme d’une base de données, du profil des forces et problèmes de la collectivité, ce qui passe par la collecte de données spécifiques de la collectivité sur les facteurs de risque et de protection, sur la criminalité et d’autres problèmes de comportement ; l’analyse des données afin de repérer les facteurs de risque majeurs propres à chaque quartier et/ou les quartiers les plus à risque; l’inventaire des ressources existantes de la collectivité qui s’attaquent à ses facteurs de risque ou cherchent à renforcer ses facteurs de protection. À Fort Collins (Colorado) par exemple, 18 facteurs de risque (liés aux comportements problématiques juvéniles susmentionnés) ont été jugés prioritaires et mesurés à partir de divers indicateurs afin de mesurer le niveau de risque de la collectivité. En voici quelques-uns : 26 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Exemples de facteurs de Exemples d’indicateurs utilisés risque (pour mesurer les facteurs de risque) Disponibilité des drogues Pourcentage d’élèves de 8ème et de 12ème année qui pensent qu’il est illicites, de l’alcool et du tabac facile ou très facile de se procurer ces produits Collectivité Mobilité résidentielle Nombre de ventes et de reventes de maisons Faible attachement au Pourcentage de gens ayant exercé leur droit de vote quartier et désorganisation de la collectivité Pourcentage de logements (occupés) loués et possédés Pourcentage d’étudiants inscrits au programme de déjeuners gratuits Importante défavorisation économique et à prix réduits Taux de la population bénéficiant de coupons alimentaires Histoire familiale en matière Taux d’adultes participant à un traitement de dépendance à l’alcool et de comportements aux drogues illicites problématiques Niveau de scolarité des 25 ans Taux d’incidents confirmés d’abus et de négligence auprès des Gestion des problèmes Famille familiaux Attitude et implication parentales favorables en terme de comportements à problèmes enfants Nombre d’enfants placés en accueil selon le type d’accueil Taux de crimes violents et contre les biens Taux de femmes enceintes suivant un traitement pour leur consommation d’alcool, de tabac ou d’autres drogues Nombre d’élèves au primaire ayant suivi des programmes éducatifs Comportement antisocial spéciaux pour cause d’instabilité émotionnelle précoce et persistant Taux de suspension des élèves au primaire École Échec scolaire à partir de la Pourcentage d’étudiants dans le quartile national inférieur quant aux fin du primaire aptitudes linguistiques, la lecture et les mathématiques Manque d’implication à l’école Taux de présence quotidien des élèves Pourcentage d’élèves complétant un diplôme d’études secondaires Âge des élèves de 12ème lors de leur première consommation de Individus et Précocité des comportements cannabis et de leur première consommation abusive d’alcool problématiques Intentions des élèves de 8ème année quant à leur consommation future éventuelle de drogue pairs Taux de suicides chez les jeunes Aliénation et rébellion Pourcentage de jeunes ayant tenté de se suicider ou considéré la possibilité de se suicider 27 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Nous n’avons pas l’intention ici d’analyser les choix des facteurs de risque et des indicateurs de cette initiative (non seulement notre propos est autre mais ce ne sont là qu’une partie des éléments retenus). L’aspect important à souligner est qu’ils aient été élaborés en commun, doivent s’appuyer sur des études, et sont pondérés avec le point de vue des praticiens : par exemple, alors que le taux d’adultes participant à un traitement contre la consommation d’alcool et de drogues illicites a diminué dans la collectivité, les intervenants concernés ont rapporté que cette diminution avait été causée par celle du nombre de places disponibles au Colorado et non par une amélioration de la santé des personnes. À partir de ce travail, les membres du comité ont identifié trois facteurs de risque prioritaires : les conflits, familiaux, la gestion familiale des problèmes, l’initiation précoce aux comportements à problèmes. Pour sa part, l’inventaire des ressources disponibles a révélé des besoins en matière de : services bilingues, programmes et stratégies de prévention ciblant les jeunes enfants et les enfants, coordination entre les ressources et les services existants, personnel bénévole pour du tutorat, et participation à des activités de loisir pour tous les jeunes. 4. Le conseil communautaire s’occupe également de la quatrième étape qui est consacrée à la préparation d’un plan intégré de développement des jeunes pour la collectivité, lequel détermine : (i) les résultats recherchés par rapport à la réduction des facteurs de risque et au renforcement des facteurs de protection identifiés, (ii) les indicateurs qui serviront plus tard à l’évaluation, (iii) les activités qui permettront d’atteindre ces résultats, en étudiant un ensemble d’approches prometteuses ayant fait leurs preuves, de même qu’un (iv) plan d’évaluation pour colliger et analyser les données, afin de mesurer les progrès des activités par rapport aux résultats recherchés. 5. Le cinquième et dernier stade est celui de la mise en œuvre et de l’évaluation du plan. Le conseil d’administration des dirigeants locaux joue ici un rôle crucial puisqu’il procure les ressources nécessaires pour soutenir le plan. Conclusion Les initiatives qualifiées de CCI appliquées au champ de la délinquance ont bien peu à voir avec les « véritables » CCI, à l’exception du système CTC qui cherche à donner des outils et une méthode de travail rigoureuse pour que les collectivités puissent s’attaquer de façon globale à leurs propres difficultés. Plus encore, cette approche exige qu’elles donnent une base théorique à leurs activités et que celles-ci fassent l’objet d’un consensus interne. Les deux autres types d’approches – celle du CCP et de la stratégie Weed and Seed – sont une dérive réductrice du concept de CCI. Le principe de globalité est escamoté et celui du renforcement des capacités interprété de façon minimaliste. Les éléments reliés au « weeding » et au « seeding » ne sont pas les éléments d’une action intégrée mais des composantes séparées. 28 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Les forces policières ne font pas partie d’une coalition mais ont la responsabilité et le contrôle du « weeding ». La force d’une approche globale réside dans la synergie des actions, non dans leur simple addition. La question n’est donc même pas d’investir autant dans les activités liées à l’offre de services sociaux que dans celles relevant de l’application de la loi, mais bien l’absence d’une approche réellement globale. La situation est identique avec le CCP, à la différence que le volet « seeding » est remplacé par celui de « police communautaire » et que les activités de « mobilisation de la collectivité » ont souvent une connotation sécuritaire (présence de citoyens dans les patrouilles de police à Fort Worth, surveillance de quartier avec la Mobile Neighborhood Watch de Salt Lake City). En aucun temps le CCP ne s’attaque aux causes de la délinquance; son objectif est plutôt d’accroître les capacités locales de détection et de réaction à l’endroit de comportements délinquants. C’est dans cette logique que s’inscrit la recherche de partenariats entre la police et les collectivités. Section II - Évaluer les CCI Tenant compte des caractéristiques des CCI, leur évaluation est un exercice complexe. De là à penser qu’il serait impossible de les évaluer de manière scientifique, il n’y a qu’un pas, rapidement franchi par plusieurs. Pourtant, il s’est développé, au fil des ans, une pratique de l’évaluation qui, pour ne pas répondre aux principes du modèle dominant, n’en est pas moins rigoureuse comme le montrera cette section. Les limites de l’évaluation traditionnelle31 Rappelons que l’évaluation de l’efficacité d’une intervention cherche à déterminer quels en sont les impacts, tandis que l’évaluation de l’effectivité cherche à déterminer dans quelle mesure l’intervention a été mise en œuvre tel que prévu, et que l’évaluation de l’efficience cherche à établir les bénéfices économiques de l’intervention menée. Pour être en mesure d’établir les impacts d’une intervention, il faut avoir l’assurance que les impacts mesurés sont bel et bien dus à l’intervention menée et non à d’autres facteurs. Selon les critères traditionnels de la recherche scientifique positiviste, il faut, pour ce faire, contrôler le plus possible les variables intervenantes, c’est-à-dire éliminer des hypothèses alternatives : d’où, par exemple, le fameux débat sur la diminution de la délinquance enregistrée par la police new-yorkaise dont on ne peut établir si elle est effectivement due à la politique de tolérance zéro adoptée sous la gouverne du chef Bratton ou à d’autres 29 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? facteurs tels la diminution du poids démographique des jeunes, le déplacement vers d’autres villes, la modification des pratiques de trafic de drogues, ou à l’intervention de multiples groupes communautaires qui sont intervenus à la même époque pour que diminuent les violences entre gangs et notamment chez les jeunes. Pour être en mesure d’éliminer des hypothèses alternatives, la démarche traditionnelle consiste à constituer un groupe témoin, à prendre des mesures avant et après l’intervention, et idéalement à répartir les sujets aléatoirement dans les groupes expérimental (qui reçoit l’intervention) et témoin (qui ne la reçoit pas). Lorsqu’il s’agit d’une intervention globale à l’échelle d’une collectivité, agissant simultanément sur de multiples facteurs (logement, emploi, santé, formation, tissu social, habiletés parentales, interventions précoces auprès des enfants et des jeunes à risque, etc.) et impliquant de multiples actions menées par divers partenaires (ville, éducation, services sociaux et sanitaires, police et justice, etc.), la démarche traditionnelle ne s’applique pas pour plusieurs raisons. Premier problème d’ordre général : l’unité de mesure. Traditionnellement, les unités d’analyse des évaluations quantitatives de programmes sont les individus. C’est parfois le cas avec les CCI mais il s’agira plus fréquemment de familles ou d’institutions, voire de la collectivité dans son ensemble. De fait, la logique même d’une initiative à l’échelle d’une collectivité, d’un quartier en difficulté par exemple, suggère que les impacts recherchés devraient être observés sur chacun de ces trois ensembles, chacun étant en relation avec les autres : une famille n’est pas un agrégat isolé ni statique mais un ensemble en relation, même distendue, avec le milieu, l’entourage, la collectivité et ses institutions. Autre problème d’ordre général : les indicateurs de mesure des résultats. Visant non seulement plusieurs objectifs mais surtout des objectifs complexes (par exemple une meilleure intégration et utilisation des services disponibles dans la collectivité et l’élaboration entre les institutions d’une vision partagée des problèmes et de la théorie du changement qui sous-tend l’action) les indicateurs de succès d’une CCI seront nécessairement aussi complexes et multiples. De même, une intervention intégrée de prévention à l’échelle d’une collectivité, tout en visant à terme la réduction de la délinquance et de la victimation, ne peut mesurer son succès sur la seule base des taux de délinquance enregistrés par la police. Une autre série de difficultés tient à la construction des groupes de comparaison. S’agissant d’initiatives globales à l’échelle d’une collectivité, il n’est pas possible – ni éthique d’ailleurs – de choisir aléatoirement les personnes qui reçoivent et ne reçoivent pas l’intervention. Avec les institutions, la faiblesse méthodologique réside dans la taille de l’échantillon utilisé qui 31 . Cette section est technique parce qu’elle porte sur les différentes méthodes de l’évaluation traditionnelle. Elle s’appuie en grande partie sur le chapitre de Hollister et Hill (1999) « Problems in the Evaluation of Community-Wide Initiatives » in New Approaches to Evaluating Community Initiatives, Vol. 1. http://www.aspenroundtable.org/vol1/hollister.htm 30 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? n’est pas assez importante pour garantir que l’assignation aléatoire neutraliserait les effets de caractéristiques non mesurées. Prenons l’exemple du déplacement avec un programme de formation à l’emploi et imaginons que certains des travailleurs l’ayant suivi soient embauchés et que la fermeture de postes dans le même marché du travail fasse en sorte que l’emploi total n’augmente pas : au bout du compte, les participants au programme se verraient offrir des emplois à la place d’autres travailleurs qui auraient été choisis, n’eut été de son existence. Or, une évaluation utilisant une répartition aléatoire (avec un groupe témoin et un groupe de traitement) mais qui serait petite en terme de taille du marché du travail ne pourrait détecter ce phénomène : le nombre d’individus partis à l’étude étant trop réduit par rapport à la taille du marché du travail, il est peu probable que l’individu formé et placé dans le groupe de traitement se présente chez le même employeur que l’aurait fait celui du groupe témoin. Par ailleurs, l’évolution constante des CCI demande une évaluation continue que l’évaluation traditionnelle n’est pas en mesure de fournir. S’agissant de collectivités, il est pour le moins hasardeux de comparer entre elles des L’histoire de l’évaluation de l’Employment Opportunity Pilot Project (EOPP) illustre le principal problème de la construction de groupes de comparaison de collectivités. Ce programme d’accès à l’emploi à grande échelle, lancé à la fin des années 70, ciblait les adultes fréquemment sans emploi et les familles défavorisées avec des enfants. Son évaluation a eu recours à la construction de sites de comparaison mais perdu toute valeur scientifique lorsque l’on s’est aperçu que des changements imprévus aux effets inconnus sur les collectivités y étaient survenus, remettant en cause les appariements : sur les dix sites en question, l’un avait été touché par un ouragan, un autre par des inondations et un troisième par la fermeture d’une usine d’automobiles qui occupait une place importante dans l’économie locale. collectivités dont les caractéristiques profondes divergeront nécessairement (deux quartiers difficiles ne sont pas immédiatement comparables parce qu’ils cumuleraient des problématiques similaires de chômage, de décrochage scolaire ou de délinquance). Tout comme pour les institutions, il y a le problème de la petite taille de l’échantillon utilisé. Cette faiblesse est inéluctable et résulte de l’impossibilité de trouver un nombre suffisant de collectivités (à moins que l’équipe d’évaluation soit très imposante, que ses ressources soient colossales et que le temps ne soit pas un enjeu, conditions qu’il est fortement improbable de voir réunies dans un même cas). Mais d’autres problèmes se présentent. À commencer par l’incertitude du critère de proximité. La méthode la plus fréquente pour choisir des collectivités témoin consiste à les apparier à partir de diverses caractéristiques dont on pense ou dont on « sait » (si cela a été démontré par ailleurs) qu’elles peuvent avoir un impact sur les variables étudiées. Ce peut être sur la base de la proximité géographique, avec l’idée qu’elle minimisera les différences concernant les structures socio-économiques et l’évolution des forces exogènes en jeu. Toutefois, rien n’est moins sûr : il arrive que les forces sociales, politiques et 31 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? économiques favorisent le développement, à l’intérieur d’une même région, de fonctions spécialisées localisées dans les différents secteurs qui la composent, et ces différences influencent de manière différente l’évolution des collectivités. Or, comme les effets ne peuvent être identifiés avec précision, il résulte que l’on ne peut déterminer si les changements (ou l’absence de changements) observés sont le fait de l’intervention ou de ces différences. La validité du critère de proximité est donc remise en question par la contamination (positive ou négative) de la collectivité témoin par la collectivité de traitement, qui s’explique par les effets d’entraînement causés par les services ou les mouvements de migration des individus. C’est ce qui s’est produit avec l’évaluation du programme scolaire et communautaire éducatif de réduction du nombre de grossesses non désirées chez les adolescentes, dans un comté de Caroline du Sud. Les évaluateurs ont voulu comparer les changements observés dans la partie est du comté, soumise au programme, à ceux de la partie ouest, mais se sont rendu compte que la campagne médiatique, qui était l’élément central du programme, avait été effectuée avec le seul journal et la seule station de radio du comté, ce qui signifie que des personnes vivant dans la partie ouest avaient été touchés. Plus intéressant encore, même s’ils étaient situés dans la partie ciblée, certains des lieux choisis pour faire passer les messages du programme, comme les églises et les milieux de travail, servaient ou employaient des gens de la partie témoin du comté. L’autre problème se rapporte aux critères utilisés pour l’appariement des collectivités. La plupart du temps, il est effectué sur la base de la similitude des données démographiques obtenues par les recensements nationaux qui, s’ils donnent parfois (selon les pays) des informations à l’échelle très locale – comme les pâtés de maisons - ne sont menés que tous les dix ans. Les collectivités évoluant constamment, de tels outils sont très insuffisants parce que trop espacés dans le temps. Et même à supposer qu’ils donneraient des photographies instantanées des collectivités, il faudrait disposer d’un modèle statistique capable de pondérer la multitude de caractéristiques devant être appariées, modèle qui n’existe pas encore. Enfin, la construction de groupes de comparaison d’individus, d’institutions ou de collectivités met le chercheur face à des enjeux éthiques qui, même s’ils ne représentent pas des obstacles impossibles à surmonter, doivent néanmoins être abordés. C’est encore plus vrai lorsque les unités d’analyse sont des collectivités parce que l’intervention affectera un nombre plus élevé d’individus. Par exemple, la décision de développer des services sociaux dans un quartier qui n’en a pas et de laisser les choses en l’état dans un autre est lourde de conséquences pour les résidants touchés par ces mesures, et doit au moins être évoquée. Dans le champ de la délinquance, les évaluations des initiatives mises en œuvre dans le cadre du CCP et de Weed and Seed sont des exemples frappants de l’impossibilité d’évaluer des 32 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? actions intégrées (encore qu’elles ne le soient pas véritablement pour ces deux programmes) en ayant recours aux méthodologies d’évaluation traditionnelles. L’évaluation de processus et de résultat du projet Weed and Seed de Pittsburgh n’aborde la question des impacts qu’à la moitié du rapport d’une cinquantaine de pages et ne consacre que deux pages à ceux en matière de réduction de la criminalité alors même qu’il s’agit là de l’objectif fondamental de cette stratégie nationale, la majeure partie de l’évaluation d’impact se concentrant sur la présentation de sondages auprès de la population afin d’en mesurer les perceptions. Si la mesure du sentiment de sécurité des habitants est un indicateur important pour évaluer une initiative de prévention – et encore plus pour mesurer le changement d’une CCI – elle ne donne aucun éclairage quant à la baisse réelle32 de la criminalité. L’équipe d’évaluation en était d’ailleurs tout à fait consciente : « Of course, any observed changes in crime rates in the target area during this time period might reflect factors other than Weed and Seed. For instance, changes in crime reporting may cause the reported crime rates to rise or fall independently of any shift in the true crime incidence. Changes in the regional or national economic context may also affect local crime trends, favorably or unfavorably. Additionnally, an observed reduction in crime for the target area may occur through displacement of crime to adjacent or nearby areas, whose crime rates would correspondingly rise »33. L’on pourrait également ajouter la présence de projets de toutes sortes sur le secteur ciblé, susceptibles d’avoir un impact sur les facteurs de risque ou de protection de la criminalité (c’est-àdire n’importe quelle intervention de nature socio-économique). La même mise en garde est donnée par les auteurs d’un rapport préliminaire sur le CCP : « The crime rates in the six cities either decreased or stabilized during the CCP process. But due to complex variables of the many factors that contribute to the level of crime, it is difficult to say how CCP or any other specific program played a part in this trend »34. Enfin, surgissent des difficultés liées à la modélisation. La modélisation statistique à l’échelle de la collectivité consiste à élaborer un modèle statistique visant à prédire comment auraient évolué certains phénomènes au niveau de la collectivité si l’initiative n’avait pas été mise 32 . Nous sommes bien conscients que la criminalité réelle est l’addition de la criminalité apparente (celle qui est enregistrée par les services de police) et de la criminalité inconnue (communément appelée « chiffre noir »). La criminalité réelle à laquelle nous référons dans le texte est en fait la criminalité apparente mais l’utilisation de ce terme aurait pu créer une certaine confusion chez le lecteur. 33 . Bynum, Timothy and al. (1999) National Evaluation of Weed and Seed : Pittsburgh Case Study. Research Report, National Institute of Justice, U.S. Department of Justice, p.26. 34 . Kelling, George L. and al. (1998) The Bureau of Justice Assistance Comprehensive Communities Program : A Preliminary Report. Research in Brief, National Institute of Justice, U.S. Department of Justice. p.9. Pourtant, dans un bulletin intitulé Comprehensive Communities Program : Program Account et publié en 2001, le BJA ne fait pas cette mise en garde essentielle et présente les résultats de l’étude d’évaluation faite par la BOTEC Analysis Corporation, parmi lesquels la diminution du taux de criminalité violente dans des proportions allant jusqu’à 50%. Le problème est que l’article du bulletin ne fournit pas la référence bibliographique de cette étude et que nous n’avons pu mettre la main dessus en dépit de nos recherches. 33 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? en œuvre. Les prévisions ainsi calculées servent de données contre-factuelles qui seront ensuite comparées aux valeurs observées après l’intervention. La modélisation des séries chronologiques extrapole des valeurs passées d’une série de données afin d’obtenir une valeur prédite de ce résultat pendant et après l’intervention. Il suffit ensuite de la comparer à la valeur observée après l’intervention. Par exemple, il serait possible d’utiliser les données des décès des conducteurs de véhicules tout terrain sur une période de X années, estimer statistiquement le nombre de morts qu’il y aurait eu sans la nouvelle législation exigeant un permis de conduire, et comparer le résultat au nombre réel de décès après la législation. Ces deux types de modélisation sont peu fiables parce qu’ils reposent sur la présomption que les multiples variables d’une collectivité évoluent de façon linéaire : hormis l’intervention ellemême, ils ne contrôlent pas les autres variables susceptibles d’avoir influencé les résultats. Quant à la modélisation à variables multiples, même si elle n’a pas encore été utilisée avec des collectivités, elle s’est déjà révélée peu concluante pour l’évaluation de programmes. Par exemple, dans le cas de l’évaluation de l’impact de la réforme de l’assistance sociale (le programme national AFDC) du New-Jersey, les prédictions faites par la modélisation par rapport aux changements survenus dans les dossiers ont été remises en question par des modifications, apparues après la réforme, sur le marché de l’emploi des bas salaires, dont les effets ont « noyé » ceux de l’intervention parce qu’ils n’ont pas été prédits donc n’ont pu être intégrés à la modélisation. En somme, les méthodologies traditionnelles d’évaluation présentent une série de limites lorsqu’il s’agit d’évaluer rigoureusement des initiatives globales. Mais il serait erroné de prétendre que les CCI ne peuvent être évaluées parce qu’elles sont incompatibles avec les critères rigoureux de l’évaluation dite scientifique. Il faudrait plutôt dire qu’en raison des limites de cette dernière, nous devons adopter une autre approche de l’évaluation, différente de celle qui prédomine aujourd’hui. C’est ce qu’ont fait un certain nombre de CCI et de chercheurs qui ont tenté de modéliser une telle pratique de l’évaluation, qui fait l’objet de la section suivante. La pratique d’évaluation des CCI L’évaluation des initiatives à l’échelle de la collectivité s’est véritablement développée à partir des années 50, lorsque l’on a davantage misé sur l’apprentissage en vue d’une réplication des actions et qu’ont été introduits de nouveaux standards pour évaluer le succès des programmes. Ce démarrage tardif explique pour partie la faiblesse de la pratique d’évaluation de programmes antérieurs tels les Gray Areas, qui se réduisait à des mécanismes d’auto-évaluation établis par chaque programme, et à des visites périodiques de membres du personnel et de 34 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? consultants externes. D’une part, l’absence d’uniformité du processus et de procédures standard ne permettait pas de valider ces auto-évaluations. De l’autre, outre que les programmes n’étaient pas individuellement soumis à une évaluation externe, il n’était ni prévu ni possible de faire remonter les informations amassées en vue d’une évaluation du programme lui-même. Les projets pilotes de quartier contre la délinquance juvénile avaient également une vision de l’évaluation comme outil d’apprentissage mais leurs plans d’évaluation visaient surtout à tester la validité empirique de la théorie sous-jacente. Ne disposant pas du temps nécessaire, leur pratique d’évaluation n’a pas été suffisamment développée. Dans les deux cas, l’empressement à mettre en œuvre un programme national d’actions à l’échelle des collectivités a eu pour conséquence que les leçons appelant à la prudence n’ont pas été retenues, de même que n’ont pas été exploitées celles ayant trait à la méthodologie de l’évaluation. Pour autant, ils ont légué aux CCI une vision de l’évaluation comme processus d’apprentissage social devant guider la recherche de nouvelles façons de répondre aux problèmes urbains par le changement social. Leur pratique d’évaluation a, de plus, produit un vaste ensemble de connaissances des changements à l’échelle des collectivités. À partir du milieu des années 60, la recherche d’évaluation et les initiatives à l’échelle de la collectivité se sont séparées pour connaître une évolution opposée : une importance croissante pour la première et l’abandon graduel mais rapide des secondes par les autorités. Cette évolution différente s’explique par l’influence des forces et des processus historiques qui ont façonné ces deux éléments : la professionnalisation, qui a permis une plus grande spécialisation de la production du savoir, ainsi que de la conception et mise en œuvre des programmes d’assistance sociale ; l’expansion de l’État-providence, qui s’est accompagnée de nouvelles demandes de savoir ; les changements des contextes sociaux, économiques et politiques dans lesquels ces initiatives globales ont été élaborées. Le tournant est survenu en 1965 lorsque l’administration Johnson a lancé le nouveau système fédéral de planification et de budget (PPBS) qui a opéré un rapprochement entre les politiques publiques et la recherche expérimentale axée sur les résultats « mesurables » des programmes. Cette nouvelle demande d’évaluation de la part des ministères et organismes fédéraux a permis à l’évaluation de se positionner comme champ de recherche à part entière. Toutefois, cette nouvelle demande d’évaluation a été accompagnée de pressions politiques qui ont précipité et aggravé les difficultés d’adaptation pour les CCI. Dans le cas de l’OEO par exemple, les problèmes de compatibilité, entre les exigences du PPBS d’un côté et les demandes de planification à long terme et d’innovation en matière de politiques de ce programme de l’autre, ont pris une tout autre ampleur en 1967, lorsque le Congrès a voté des amendements exigeant que tous les programmes de l’OEO soient soumis à une évaluation « rigoureuse » utilisant des groupes 35 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? témoin, faisant de l’analyse coût-bénéfice et se servant des données de l’opinion des participants quant aux forces et faiblesses des programmes. L’ironie de l’histoire est qu’en dépit du caractère prioritaire de la guerre contre la pauvreté, il n’y a pas eu d’évaluation complète de l’impact du CAP et des programmes qui y étaient associés. La pratique d’évaluation des initiatives à l’échelle de la collectivité élaborées après l’instauration du PPBS s’est donc développée à contre-courant d’un modèle d’évaluation contraignant. Il est cependant difficile de dire si ce sont les exigences imposées par ce dernier qui expliquent la faiblesse de la pratique d’évaluation des Model Cities. Dès le lancement du programme, l’évaluation est apparue comme un élément secondaire disposant de ressources financières limitées. Le programme a révélé l’existence de vives tensions autour de la question de l’évaluation. Pour l’administration gouvernementale35 (qui était le bailleur de fonds), les objectifs devaient être définis en vue de la réplicabilité et de l’amélioration ultérieure du programme dans son ensemble, et l’intérêt était surtout de savoir comment les sites pilote locaux servaient les objectifs de la politique nationale et de s’assurer que les initiatives locales soient élaborées de façon à tester la relation causale entre la stratégie d’intervention et les résultats observés. Pour les directeurs des programmes locaux, cette vision ne cadrait pas avec les responsabilités locales du programme et il valait mieux déterminer les objectifs à l’aune de l’efficacité de la gestion locale. Enfin, l’expérience des CDC a mis en relief d’autres enjeux pour la pratique d’évaluation. D’une part, quant aux problèmes rencontrés, notamment la multiplicité des organismes commanditaires aux inputs variables, la complexité des indicateurs d’impact de pauvreté, et les conséquences des impératifs (politiques) de temps sur la nature de l’évaluation elle-même, telle l’absence de cadres comparatifs susceptibles d’aider à informer ou à tirer les leçons. D’autre part, quant aux facteurs explicatifs du retard de la recherche et de l’évaluation, principalement les investissements limités des autorités gouvernementales et des autres sources de financement dans l’évaluation – que ce soit à cause de la faiblesse des pressions politiques en ce sens ou de l’absence d’un lieu administratif centralisé auquel les acteurs auraient dû rendre des comptes sur leur contribution aux objectifs du programme – le décalage entre l’état de la pratique d’évaluation de l’époque et le type d’évaluation requis pour évaluer l’impact des initiatives comme les CDC, et, dans une moindre mesure, l’existence d’une certaine impatience à l’égard de concepts sociaux scientifiques peu fondés dans la réalité locale. 35 . Elle ne parlait pas d’une même voix puisque le HUD s’opposait à la MCA qui, tout en étant sous sa juridiction, était chargée de l’administration du programme des Model Cities. 36 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Une pratique basée sur la théorie du changement Les réflexions sur la pratique de l’évaluation des CCI ont débouché, dans les années 90, sur la théorie du changement 36 qui, selon les chercheurs et les praticiens, représente une avenue prometteuse37 : davantage qu’une méthode, elle est une approche d’évaluation et, en cela, est bien plus globale que les méthodologies précitées qu’elle intègre parfois dans sa démarche. La théorie du changement intègre l’évaluation à l’initiative et se sert de la première pour planifier et adapter la seconde 38 . Selon Connell et Kubish, elle consiste en « une étude systématique et cumulative des liens entre les activités, les résultats et les contextes de l’initiatives »39. Plutôt que de tenter de démontrer a posteriori (après l’intervention) l’existence d’un lien causal entre les activités mises en œuvre et les résultats observés (inconnus au départ), elle met l’accent sur l’enchaînement entre les résultats initiaux, intérimaires et finaux. Ainsi, avant même que les premières activités ne soient effectives, elle identifie les résultats qui seront poursuivis et s’interroge sur la potentialité des activités proposées à les atteindre ainsi que sur les facteurs contextuels susceptibles d’avoir un effet sur elles. La théorie du changement comporte trois caractéristiques 40 : la plausibilité, qui est l’adéquation des activités avec les résultats recherchés ; la faisabilité, qui est l’adéquation entre la stratégie et les ressources disponibles ; et la « testabilité » de ses progrès. Elle repose sur la présupposition de la validité d’une théorie expliquant le lien causal entre une intervention et les résultats obtenus. Cela implique une bonne connaissance de l’état de la recherche parce que cette théorie est basée sur les connaissances des sciences sociales et l’expérience des praticiens. En même temps, elle est solidement ancrée dans la réalité locale : les activités mises en œuvre s’appuient sur les ressources de la collectivités et répondent a ses problèmes. Philliber41 suggère de coucher la théorie générale du changement sur le papier sous forme d’un graphique : les processus à gauche, les résultats à court terme au milieu, et les résultats à long terme à droite. De la sorte, on peut visualiser la séquence causale proposée. Ce sont les résultats à long terme qui sont identifiés en premier, puis les résultats intermédiaires, puis les résultats à court terme qui sont parfois les processus permettant d’atteindre les deux autres types d’objectifs : la création d’une structure de gouvernance représentative de la collectivité peut être 36 . Traduction littérale de « theory of change » que nous voulions traduire, au départ, par « théorie du changement social » qui est plus précis et reflète mieux la nature des CCI, mais est réducteur puisque les changements peuvent être à d’autres niveaux. 37 . C’est ce qui ressort des documents de la table ronde du Aspen Institute. 38 . Il est bien évident que l’évaluation de certaines CCI débute lorsque leurs activités sont déjà terminées. Le cas échéant, la théorie du changement est sous-exploitée et peut être qualifiée de « faible ». 39 . J. Connell et A. Kibisch. « Applying a Theory of Change Approach to the Evaluation of CCI » in New Approaches to Evaluating Community Initiatives, Volume 2. Traduction des auteurs. 40 . Connell et Kubish, op.cit. 37 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? considérée comme un résultat à court terme ; en revanche, si une telle entité existe déjà lorsque la CCI est élaborée, elle sera plutôt un processus. En clair, la théorie du changement identifie d’abord les résultats recherchés par la CCI avant de se pencher sur la ou les stratégies auxquelles elle aura recours pour y parvenir. Clé de la pratique d’évaluation des CCI, la définition d’une théorie du changement implique toutes les parties prenantes. Souvent revendiquée par les évaluations de processus et d’impact mais rarement effective, la participation des partenaires de la CCI n’est pas qu’apparente 42 . Orchestré par l’évaluateur, cet exercice prend la forme d’un travail collectif où les acteurs sont amenés à présenter leur propre théorie du changement et à réfléchir ensemble au contenu de la théorie finale ainsi qu’aux indicateurs qui serviront à mesurer l’efficacité des activités. Il s’agit donc de s’inspirer des diverses théories qui coexistent, voire se concurrencent, à l’intérieur même de l’initiative, développées par les acteurs, afin d’en dégager une théorie commune. Si la présence de points de vue divergents sur les composantes de l’initiative n’est pas, en soi, un élément négatif, elle le devient lorsque les désaccords touchent à la vision même de la CCI. Laissées en l’état, ces divergences se traduiront par des attentes et une lecture différentes de l’action et de l’évaluation. Imposer trop rapidement une théorie pourrait nuire à leur collaboration et étouffer la dynamique de la CCI. A l’opposé, ne pas la définir et ne pas travailler à élaborer un consensus risque d’en inciter plusieurs à tenter d’imposer leurs activités et leur vision des choses et, par là même, de désorganiser le projet. Si l’élaboration d’une théorie commune peut s’avérer un exercice délicat, elle permet de tirer partie de la variété de visions et renforce la CCI, d’abord en clarifiant les résultats recherchés, les activités pour y arriver et les contextes locaux, ensuite en y engageant tous les acteurs : de la sorte, la théorie finale, qui n’est jamais qu’une ébauche devant être fréquemment réexaminée, sera réellement partagée. Le travail effectué autour des résultats recherchés facilite la définition des indicateurs et des outils de mesure ainsi que les collectes de données. Cela dit, l’identification des indicateurs représente un véritable défi. Il s’agit néanmoins d’une démarche essentielle puisqu’il faut déterminer par rapport à quoi la capacité des activités à atteindre les objectifs sera évaluée. Par exemple, si l’amélioration de la qualité des interventions de la police dans un quartier est reconnue par tous comme étant un objectif à atteindre, il faut également préciser à partir de quels indicateurs elle sera mesurée. Faute de quoi il est très probable que des dissensions surgiront : pour certains, le meilleur indicateur sera un sondage auprès de la population locale, tandis que 41 . Susan Philliber (1998) « The Virtue of Specificity in Theory of Change Evaluation: Practitioner Reflections » in New Approaches to Evaluating Community Initiatives. Volume 2 Theory, Measurement, and Analysis. The Aspen Institute Roundtable on Comprehensive Community Initiatives. New York. 38 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? d’autres proposeront plutôt de considérer le nombre ou le taux d’arrestations ou encore le taux de résolution des délits signalés. Il est également primordial de déterminer des seuils de performance (ou de rendement) précis pour rendre opérationnels ces indicateurs et permettre de déterminer le niveau de réalisation des activités par rapport aux objectifs. La complexité de la chose est fonction du type d’indicateur – quantitatif ou qualitatif. Par exemple, si l’indicateur est la diminution du taux de récidive des jeunes contrevenants (calculé sur la base des statistiques policières), il suffira de fixer un seuil chiffré à partir duquel l’activité sera considérée comme réussie. Même si des désaccords peuvent se manifester entre les acteurs de la CCI, leurs positions respectives sont exprimées en chiffres (à ce stade, l’indicateur a été accepté par les parties), ce qui facilite la négociation. En revanche, lorsque la mesure relève d’un processus – par exemple la meilleure synergie entre les acteurs pour la prévention des violences chez les jeunes – la tâche est autrement plus ardue parce qu’il n’y a pas de tels points de repère. Le rôle central de l’évaluateur La définition d’une théorie générale est un processus relativement long qui exige plusieurs qualités chez l’évaluateur : une bonne connaissance du domaine de l’intervention, entre autres parce que les théories des acteurs peuvent être incomplètes ou irréalistes ; un sens politique et un esprit rassembleur pour saisir les dynamiques entre les parties et créer un consensus entre elles en dépit de leurs visions et intérêts divergents ; une maîtrise des outils méthodologiques quantitatifs et qualitatifs pour surmonter les fréquentes difficultés de cet ordre ; une facilité à développer des relations suffisamment étroites avec les autres acteurs, l’identification de la théorie d’un acteur ne pouvant se faire sans sa totale collaboration. Très présent dès la phase de planification de la CCI, l’évaluateur travaille individuellement avec les parties prenantes en les aidant à préciser ou à définir certains éléments de leur théorie du changement, et collectivement lorsqu’il doit les rallier à une vision unique. Acteur à part entière avec des responsabilités élargies par rapport à son rôle traditionnel – ce qui entraîne parfois des frictions avec les autres parties – l’évaluateur d’une CCI est nécessairement en contact avec l’objet qu’il étudie, ce qui pose la question de son objectivité ou plutôt de son manque d’objectivité. Pour les CCI, cette lacune n’est pas lourde de conséquences parce que l’évaluateur travaille avec les autres partenaires sur la base de leur vision de l’initiative ; on pourrait même être tenté de dire qu’il est essentiel que l’évaluateur soit aussi directement en contact avec l’objet étudié. La véritable préoccupation concerne bien plus sa capacité à rester neutre, à ne pas prendre partie pour l’un ou 42 . Cela n’est pas surprenant dans la mesure où leur approche elle-même est participative. 39 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? l’autre des partenaires par rapport aux enjeux fondamentaux de la CCI – l’identification des résultats et de leurs indicateurs, ainsi que des stratégies pour les atteindre. Diversité des outils méthodologiques La pratique d’évaluation des CCI a récupéré une partie de l’héritage des précédentes initiatives à l’échelle de la collectivité, et a recours à plusieurs méthodes ou méthodologies43 : ¾ L’ethnographie permet de faire une description dynamique des collectivités afin d’en comprendre les forces. Pour ce faire, elle peut autant étudier les expériences, les comportements et les perceptions de petites populations (y compris les individus eux-mêmes et les familles) que les mécanismes auxquels ils recourent pour faire face à des problématiques plus vastes (chômage par exemple). Ses méthodes incluent l’observation de terrain, la cartographie d’éléments écologiques et institutionnels et l’analyse de relations formelles et informelles. Sa pertinence pour l’évaluation des CCI tient à plusieurs éléments : son approche exploratoire n’est pas biaisée par des notions a priori de processus communautaires ou de résultats définis à l’extérieur des collectivités ; elle engage ces dernières sur la voie du changement, ce qui correspond à l’objectif des CCI ; à l’instar des CCI, elle vise à exploiter les forces locales existantes des collectivités. ¾ Les données de recensement et de sondages permettent aux évaluateurs d’étudier les tendances et les patterns de différentes populations afin d’identifier les changements qui surviennent dans le temps chez les individus et dans les collectivités. Elles procurent également aux gestionnaires de programmes des informations utiles pour faire des choix programmatiques et déterminer leurs stratégies d’intervention. Ces données incluent des indicateurs se rapportant au statut socio-économique, à la composition des ménages et à l’utilisation des services. ¾ Les systèmes de retraçage informatisés sont efficaces pour suivre la trace de multiples et diverses informations et données et les mettre à la disposition des activités programmatiques. Le système CTC en est un exemple. L’approche de la théorie du changement n’exige pas de l’évaluateur qu’il recoure à l’ethnographie ou à un système de retraçage informatisé, même si ces méthodologies peuvent lui être utiles selon la nature de l’initiative. La situation est différente pour les données de recensement et de sondages qui sont cruciales pour les CCI. En effet, puisqu’elles travaillent souvent à l’échelle des pâtés de maison, unités qui « échappent » aux données nationales, les évaluateurs sont 43 . Site Internet du Harvard Family Research Project (HFRP) : http://www.gse.harvard.edu/~hfrp/ 40 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? appelés à produire eux-mêmes de telles données, à l’échelle micro, afin de déterminer les champs d’action prioritaires des initiatives plus complexes, connaître les perceptions et les attitudes des résidants par rapport aux programmes ou stratégies en place, montrer les expériences uniques de différents sous-groupes de la population et donner des informations en vue d’élaborer des interventions plus ciblées, ainsi que mesurer l’accessibilité et l’utilisation des services communautaires. Les limites de la théorie du changement En spécifiant quelles activités entraîneront quels résultats, la théorie du changement détermine l’attribution causale des impacts. Cependant, les relations causales qu’elle permet d’établir sont relativement incertaines en ce qui concerne les résultats à long terme parce qu’ils sont les derniers maillons d’une chaîne d’activités et de résultats à court et moyen terme qui sont liés entre eux, et parce que les résultats à long terme dépendent parfois de modifications apportées en cours de route à l’initiative (nouveaux investissements monétaires par exemple) qui ne pouvaient être prévus lors de l’élaboration commune de la théorie du changement. En raison de cette incertitude entourant le long terme, la théorie commune des acteurs doit être constamment révisée à mesure que progresse l’initiative. Par ailleurs, elle ne permet pas d’établir de façon catégorique de relations causales, et ce, même si les activités se déroulent tel que prévu et que les résultats recherchés se produisent. Cette mise en garde de Philliber 44 nous paraît cruciale parce qu’elle rappelle que la théorie du changement n’équivaut pas à une évaluation utilisant des groupes témoin avec une répartition aléatoire. Tout comme avec l’évaluation classique, il est possible que des facteurs externes, non intégrés à la théorie, aient affecté la chaîne d’événements et que des variables non mesurées aient eu un rôle dans la réalisation des résultats. Exemple d’évaluation d’une CCI L’élaboration de la théorie du changement de la CCI de Cleveland45 Après avoir identifié les principaux groupes d’acteurs (personnel de l’organisme chargé d’administrer la CCI, du conseil d’administration et des conseils de quartier), les évaluateurs ont pris connaissance de leur théorie du changement par le biais d’entrevues et d’analyse documentaire 44 . Philliber, op.cit. . S. Milligan et. al. (1999). « Implementing a Theory of Change Evaluation in the Cleveland Community-Building Initiative » in New Approaches to Evaluating Community Initiatives, Vol. 2. Voir également S. Milligan et.al. (2000), The 1997-98 Cleveland Community Building Initiative Baseline Report on Collaborative Relationships, Center on Urban Poverty and Social Change, Briefing Report #9904. 45 41 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? ainsi qu’en participant aux réunions. L’un des principaux aspects de changement recherchés par l’initiative était que toutes les parties prenantes devaient participer à l’élaboration et à l’utilisation de l’évaluation, d’où leur implication dans l’élaboration de la théorie du changement de l’initiative aux côtés des évaluateurs. Dans un deuxième temps, il a été possible de comparer et de concilier les trois théories du changement, en dépit de leur caractère inachevé. Intimement liée à la précédente, la troisième étape a consisté à les utiliser pour concevoir l’évaluation, ce qui a impliqué diverses tâches : ¾ Commencer à dégager une théorie unique du changement, une ébauche en quelque sorte, celle de la CCI elle-même : ce travail implique la définition des objectifs à long terme, leur articulation avec les objectifs à court et moyen terme, et l’explicitation des liens causaux entre les activités initiales et les réalisations à court terme. Les évaluateurs voulaient une première ébauche, sans doute vouée à être transformée en profondeur, qui donnait une direction, un cadre à l’intérieur duquel la CCI allait évoluer, des jalons afin qu’elle ne se disperse pas et, plus important encore, qui arrêtait de façon définitive les résultats et la stratégie à court terme. C’est donc d’abord autour de ces éléments que s’est activée l’évaluation. ¾ Établir des points de repère (« benchmark »)46 pour les résultats à court terme afin de suivre l’évolution de la stratégie et de savoir si l’initiative est en voie de les atteindre, et en en spécifiant (si possible) les seuils de réalisation. Par exemple, pour la participation des différents groupes de la collectivité aux conseils de quartier (chargés de définir la stratégie et les activités de leur secteur), qui est l’un des résultats à court terme recherchés, les « benchmarks » ont précisé les catégories d’individus devant être représentés et les seuils de représentativité suffisante. L’équipe d’évaluation a ensuite réuni le personnel de l’initiative pour expliquer quels seraient les signes visibles des progrès accomplis et en débattre, avec l’idée que ces mesures soient partagées par tous et non perçues comme imposées. ¾ Colliger des données de départ pour les résultats à long terme. Si les évaluateurs ont dû tenir compte du fait que le volet long terme (et ses liens avec le moyen et le court terme) de la théorie du changement ne serait plus le même après la mise en œuvre, par les six quartiers, de leurs propres stratégies et activités, il leur a néanmoins été possible de travailler sur les catégories des résultats à long terme en raison de leur caractère général et de leur présence dans les trois théories du changement: opportunités économiques, identité et fierté du quartier, sécurité, fortes institutions et services efficaces, et développement des familles, des enfants et des jeunes. Par la suite, pour chacune d’elles, des indicateurs ont été identifiés à partir de données disponibles. 46 . Ce terme n’a pas de vocable équivalent en français. Il traduit l’idée d’un repère prédéterminé dont la réalisation signifie que ce à quoi il se rattache est en train de se réaliser. 42 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? ¾ Enfin, en déterminant les mesures et les sources de données pour réaliser les tâches susmentionnées. Cela s’est fait à travers la mise en place de mécanismes de collecte de données : documentation des activités dans une base de données; entrevues avec les répondants clés pour identifier les benchmarks ; indicateurs sociaux et économiques compilés dans une base de données constituant les mesures initiales et en cours de la plupart des résultats à long terme; sondages auprès des résidants. Section III – Implications pour la prévention de la criminalité De même que les CCI, les stratégies intégrées de prévention et de sécurité à l’échelle des collectivités se veulent globales et locales. Globales parce qu’elles ciblent la diversité des facteurs de risque de délinquance et de victimation, locales parce que les autorités publiques reconnaissent que c’est au plus près des préoccupations et des forces vives des quartiers et des populations que peuvent le mieux se produire des actions fortes de prévention. De même que les CCI, les stratégies intégrées de prévention et de sécurité sont de plus en plus basées sur les connaissances issues de la recherche scientifique : la connaissance d’un certain nombre de facteurs de risque identifiés dans des études longitudinales permet de mieux cibler les actions. De même que les CCI, les stratégies intégrées de prévention et de sécurité collective cherchent à rassembler les partenaires locaux autour de l’élaboration d’une vision partagée, d’un diagnostic des besoins et enjeux, d’un plan d’action. L’expérience des CCI illustre bien qu’il ne s’agit pas seulement de s’attaquer à divers aspects d’une problématique en élaborant plusieurs actions en parallèle, mais de s’assurer qu’elles soient articulées dans une logique d’ensemble et soient mises en relation les unes avec les autres. À la différence des CCI, il ne s’est pas encore développé une pratique de l’évaluation qui soit en phase avec cette manière de voir. De ce que nous avons décrit précédemment sur l’évaluation des CCI, il nous semble qu’il se dégage un certain nombre de pistes pour l’évaluation des stratégies de prévention à l’échelle des collectivités. Une approche basée sur la théorie et les connaissances Nous avons vu qu’à travers la théorie du changement, la pratique d’évaluation des CCI met l’accent sur les fondements théoriques des actions mises en œuvre et non seulement sur leurs fondements pragmatiques. Elle renforce donc le lien entre les connaissances issues de la recherche (les évidences) et les orientations de l’intervention. Le premier travail de l’évaluation est donc de questionner les hypothèses sur lesquelles reposent les activités de l’initiative, afin de s’assurer de 43 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? leur validité. Ce travail prend deux aspects pour l’évaluateur : un aspect plus scientifique de validation des hypothèses sous-jacentes aux interventions par l’analyse de la littérature pertinente et, non moins important, un travail avec les acteurs sur leurs « théories » implicites quant aux phénomènes visés et aux actions entreprises. Le premier volet est bien illustré par l’exemple suivant tiré des travaux de Connell et Aber (à partir d’un cas réel) qui illustre l’importance des connaissances scientifiques dans d’élaboration des CCI et, par là même, celle de la théorie dans leur démarche c’est-à-dire le lien étroit entre la recherche et la pratique. L’hypothèse générale du modèle est la suivante : en agissant sur les dimensions de la collectivité qui ont le plus d’impact sur les jeunes, il est possible de les aider à être autonomes au plan économique, à avoir de bonnes pratiques en matière de citoyenneté et à développer des relations familiales et sociales stables. Pour y parvenir, la stratégie consiste à travailler auprès des médiateurs sociaux qui, en tant que principaux vecteurs d’apprentissage, d’expérimentation et de compréhension du monde, permettent d’influencer de façon positive les processus développementaux fondamentaux chez les jeunes. Précisons que le modèle est pensé pour des collectivités socio-économiquement défavorisées. Les dimensions en question, qui sont au nombre de quatre, affectent toutes, directement ou indirectement, les jeunes : (i) Les caractéristiques démographiques et physiques ont trait aux données économiques, sociales, raciales, à celles de l’éducation, ainsi qu’à la sécurité, l’habitabilité du quartier, etc. De nombreuses recherches ont montré que les collectivités défavorisées partageaient beaucoup de ces caractéristiques. (ii) La structure d’opportunité économique réfère à la composition industrielle, la localisation des emplois et la demande générale de travail. Or, des études ont démontré que ces éléments ont une influence sur la situation de l’emploi des résidants des quartiers défavorisés. (iii) Les capacités institutionnelles sont souvent déficientes dans de tels quartiers alors que les besoins y sont criants. (iv) Les échanges sociaux et les processus symboliques concernent des facteurs comme la forte concentration de familles pauvres, la diversité ethnique et les déplacements de population, dont on sait qu’ils ont un impact sur certains processus dans les collectivités : formation de réseaux d’amitié étroits chez les adultes, articulation et soutien de valeurs communes en matière de développement des jeunes, et surveillance et supervision des jeunes par les adultes. Le choix de la famille, des pairs et des autres adultes significatifs comme médiateurs sociaux repose également sur des études. Pour la famille, il a été établi qu’elle est l’entité qui contribue le plus au développement des jeunes, que les fournisseurs de soins doivent persister dans leur fonction éducative lorsque les conditions sociales se dégradent, et que des réseaux 44 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? sociaux d’adultes partageant des valeurs communes sur les jeunes peuvent compenser certaines inaptitudes parentales à donner des soins. Le rôle des pairs a également été souligné, surtout à l’adolescence. L’on sait aussi que la culture des pairs dans les collectivités urbaines défavorisées en reflète les dimensions et que, lorsqu’il existe des opportunités pour faire des activités positives ainsi qu’une structure sociale organisée, les pairs peuvent apporter un soutien positif et communiquer des valeurs prosociales. Quant aux processus développementaux, ils consistent en trois différents types d’apprentissage : celui de la productivité, dont les indicateurs clés sont la réussite scolaire et la performance professionnelle ; celui de la communication avec les autres afin d’éviter les problèmes relationnels ; celui de la vie, qui passe par l’intégration des règles sociétaires (sociales et sociétales) et la capacité de changer de code de règles (par exemple passer d’un cadre institutionnel à un autre, comme de l’école au lycée, et s’adapter à son statut de minorité dans un cadre culturel qui n’est pas le sien). Le second volet du travail consiste à faire émerger les théories implicites des divers acteurs. L’intervention sur une problématique sociale qui affecte la sécurité collective d’un quartier n’est pas conçue de manière identique par tous les acteurs qui interviennent. Si on prend pour exemple la prostitution dans les rues, les policiers pourront intervenir non seulement parce que la loi pénale le prescrit mais aussi parce qu’ils partageraient une vision de la prostitution comme phénomène d’exploitation des femmes ou comme manifestation d’une désorganisation sociale susceptible d’entraîner d’autres nuisances publiques (par exemple le trafic de drogues). À l’opposé, les travailleurs de rue interviendraient par exemple parce qu’ils considèrent essentiel de minimiser les formes d’exploitation de ces femmes, incluant celles qui proviennent de l’appareil de justice. Réunir ces acteurs autour d’une même table sans par ailleurs interroger leurs conceptions sous-jacentes à l’action c’est tout à la fois aller vers un conflit sur le choix des actions et rendre difficile l’évaluation des impacts puisque les attentes de résultats sont diamétralement opposées. Dans la pratique d’évaluation des CCI, les activités proposées sont débattues entre les partenaires et il doit être démontré en quoi elles permettront d’atteindre les résultats escomptés, démontrant aussi par là que leur présence est justifiée dans le cadre de la stratégie globale. L’utilisation par l’évaluateur de données provenant de la recherche scientifique ainsi que d’études d’évaluation menées ailleurs contribuera à faciliter ce processus de clarification des liens présumés entre les actions et les résultats présumés. La démarche d’évaluation inspirée des CCI est donc plus susceptible d’utiliser de manière explicite et systématique les données provenant d’études d’évaluation traditionnelle - de processus ou d’impact - pour l’élaboration des composantes d’une stratégie d’action et pour l’identification partagée entre les acteurs des attentes de résultats. La pratique d’évaluation des CCI n’a pas 45 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? vocation à remplacer l’évaluation traditionnelle, mais à investir un domaine abandonné depuis longtemps par celle-ci, celui des approches intégrées à l’échelle de la collectivité, et qui commande une approche différente de l’évaluation. Une évaluation intégrée Dans son Répertoire-synthèse II, le CIPC avait proposé une synthèse des éléments-clés d’une action de prévention réussie, dans laquelle l’évaluation et la rétroaction représentaient à la fois la fin du processus de la démarche (amorcée par le diagnostic de sécurité et suivie par l’élaboration et la mise en œuvre du plan d’action) et sa redynamisation grâce à l’intégration des connaissances acquises. La théorie du changement des CCI va encore plus loin puisqu’elle implique que l’évaluation accompagne les trois autres éléments et les alimente, ce qui rend possible une rétroaction à tout moment, c’est-à-dire aussi bien lors de l’élaboration du plan d’action et de sa mise en œuvre que du diagnostic de sécurité. Elle permet ainsi une très grande flexibilité de l’initiative qui peut se modifier et s’adapter au besoin. L’évaluation traditionnelle se situe à des moments charnières : lorsque l’initiative est en cours – on parle alors d’évaluation de processus – pour savoir si l’initiative a été mise en œuvre conformément au plan d’action, mettre en lumière certains résultats initiaux et éventuellement réajuster le tir par rapport aux objectifs de départ ; et à la fin de l’initiative, afin d’en déterminer les impacts et/ou la rentabilité. Cette conception est relativement statique par rapport à celle des CCI qui voit l’évaluation comme un processus continu d’apprentissage par lequel les partenaires sont amenés à questionner les éléments clés de l’initiative et en particulier la façon dont ils s’articulent dans la stratégie. Car s’il est important de disposer d’un diagnostic de sécurité solide, il est essentiel de s’assurer que les actions prévues y correspondent et que celles-ci font partie d’une chaîne logique. Intégrée de cette façon, c’est-à-dire apparaissant en amont de l’initiative, se maintenant à chacune de ses étapes, et tenant compte des perspectives des acteurs, l’évaluation cimente en quelque sorte le partenariat. Par ailleurs, puisque les actions intégrées de prévention, notamment par la conjonction de mesures situationnelles, développementales et sociales, s’inscrit sur le court, le moyen et le long terme, la pratique d’évaluation inspirée des CCI permet mieux de cerner et de mesurer les modifications naturelles des milieux de vie ciblés ainsi que la transformation continue des actions et des institutions qui les mettent en œuvre. Diversité des indicateurs et des sources de données Importante, la réduction de la délinquance n’épuise pas, tant s’en faut, le champ des indicateurs essentiels de succès. Évaluer le « succès » d’une action intégrée de prévention à sa 46 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? capacité à réduire le nombre de délits enregistrés ne peut que la condamner soit à être éminemment réductrice dans le choix des interventions soit à l’échec. Les taux de délits signalés relèvent en effet d’une multitude d’autres variables sur lesquelles une actions intégrée de prévention a peu de contrôle, à commencer par les pratiques policières elles-mêmes. Une série d’autres indicateurs témoigneront tout autant, et souvent mieux, du succès d’une action préventive intégrée : modification des perceptions relatives au « problème » de la délinquance, utilisation des espaces publics, perception de la qualité de vie dans le quartier, attitudes face aux forces de l’ordre et au système de justice, collaboration entre les acteurs et les secteurs de la collectivité, etc., seront autant d’indicateurs pertinents. Bref, une évaluation de la prévention intégrée qui ne tiendrait pas compte de ces autres indicateurs risquerait d’oublier l’essentiel. Puisque la démarche proposée dépasse largement le champ pénal, les données de police et de justice ne sauraient suffire. Si elles restent utiles, voire nécessaires, une multitude d’autres permettent de mieux connaître la réalité locale et de trouver des solutions aux problèmes rencontrés : les données des systèmes de santé, d’éducation et des services sociaux, des registres de taxes municipales, du bureau des permis d’alcool, des dossiers scolaires, des registres des naissances, des listes électorales, des ONG travaillant sur le terrain, des transports publics, des recensements, etc. Des données quantitatives mais aussi des données qualitatives fournies par des observations systématiques sur le terrain, par des entretiens avec des personnes-clés, par des analyses de contenu des médias locaux, seront autant d’autres sources essentielles à consulter. Diversité des outils méthodologiques On aura bien évidemment compris que les plans quasi-expérimentaux avec groupe témoin ne s’appliquent pas à cette démarche d’évaluation. Il ne s’agit pas pour autant d’une absence de rigueur scientifique. Plutôt, l’évaluation recourra à la diversification des outils méthodologiques – questionnaires, entretiens qualitatifs, observations systématiques, etc. – et la triangulation des données recueillies – le fait que des informations de diverses sources et portant sur divers indicateurs se recoupent en un faisceau de sens – ainsi que leur validation par les acteurs euxmêmes (institutionnels et de la société civile), remplacent ici les contrôles plus statiques des méthodologies traditionnelles. Une conception différente des résultats L’approche globale des CCI se traduit par une conception particulière des résultats qui est cruciale pour l’évaluation. La pratique d’évaluation des CCI ne cherche pas à valider ou rejeter une initiative dans son ensemble, mais à identifier les changements obtenus et indiquer où se situent 47 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? les lacunes de la stratégie, plus précisément ce qui a fait défaut dans l’articulation entre les résultats à court, moyen et long terme. La véritable contribution de la pratique d’évaluation des CCI réside dans l’accent mis sur l’enchaînement de différents niveaux de résultats et dans la nature des résultats à chacun de ces temps, et pas uniquement sur les résultats finaux. La division classique entre les résultats et les processus ne tient plus puisque ces derniers sont aussi considérés comme des résultats potentiels ; c’est d’ailleurs très souvent le cas parce que les processus sont au cœur de la démarche des CCI. Autrement dit, la création d’un mécanisme de prise de décision là où il n’y en avait pas est, en soi, un résultat qui mérite d’être identifié. Il en est de même pour la mise en place d’une approche partenariale, d’ordinaire perçue comme une stratégie et non comme un résultat. La définition d’une vision commune de l’action exige un consensus de tous les acteurs quant aux résultats recherchés, lequel conditionne la réussite de l’évaluation. Or, ce travail, qui n’est d’une certaine façon que le prolongement de la démarche des CCI, est loin d’être acquis, tant il est vrai qu’il touche à la vision et aux intérêts des parties prenantes. Ce n’est donc pas un hasard si leurs divergences en la matière suscitent l’apparition de tensions, parfois vives, entre elles. Chacun a sa définition du succès et des « vrais changements ». Pour les bailleurs de fonds, l’évaluation du succès passe souvent par la démonstration d’impacts très clairs sur la diminution du problème visé. Pour les acteurs locaux, l’évaluation doit tenir compte de changements qui ne sont pas facilement mesurables, souvent plus d’ordre qualitatif que quantitatif, tels le renforcement des capacités et des apprentissages, ou l’implication des habitants et leur rapport à leur milieu de vie. Dans le domaine de la prévention de la criminalité, le problème est bien connu : pour les uns il faut regarder l’évolution des taux de criminalité, d’arrestation ou de récidive, leur intention étant de trouver des approches ou des stratégies que l’on pourrait répliquer ailleurs ; pour d’autres (les acteurs locaux), l’essentiel est de créer une démarche collective susceptible de mieux habiliter les acteurs et les habitants, d’améliorer la qualité des processus interinstitutionnels et les relations entre les institutions et les résidants, de contribuer à une amélioration de la qualité de vie où les diminutions de criminalité ne sont que l’un parmi une multitude d’autres indicateurs. Éléments de conclusion Reprocher à la prévention, notamment à la prévention sociale, de ne pas donner de résultats parce qu’elle n’est pas mesurée, voire pas mesurable, selon des méthodologies traditionnelles, équivaut à accuser les politiques sur l’emploi ou la réduction des inégalités d’inefficacité parce que le chômage et la pauvreté continuent d’exister. Ce n’est pas l’outil qui est 48 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? inadéquat dans ce cas-ci, mais les méthodes utilisées pour en mesurer l’effectivité et l’efficacité. Il y grand risque, à privilégier les méthodologies traditionnelles d’évaluation, à condamner la prévention aux oubliettes. Ou alors, comme l’indiquerait une tendance perceptible actuellement, à condamner la prévention à n’être qu’une série de mesures à court terme, essentiellement d’ordre situationnel. La prévention sociale c’est pourtant la volonté et la capacité d’intégrer, dans une démarche logique, des mesures à court, moyen et long terme, des mesures sur la protection de l’habitat et des espaces publics, des mesures développementales auprès des jeunes enfants et des adolescents, des mesures de soutien à la parentalité et aux forces vives de la collectivité, et des mesures sur les manières de faire ensemble entre les acteurs institutionnels. Parce qu’elle est tout cela à la fois, et parce qu’elle est complexe et résiste à la réduction à des indicateurs immédiatement accessibles comme la réduction des taux de criminalité mais en bout de piste dénués de sens lorsque sortis d’un contexte plus large, la prévention sociale intégrée appelle d’autres approches à une évaluation rigoureuse. Nous pensons que les approches d’évaluation développées dans la pratique des CCI sont prometteuses pour cette prévention. Nous espérons que ce document aura su le traduire. Et nous comptons poursuivre ce travail aux deux plans du raffinement des outils méthodologiques et de leur mise à l’épreuve concrète. 49 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Ressources pour les CCI 1. Sites Internet Parmi les quelques sites Internet réellement intéressants, celui de la table ronde du Aspen Institute est incontournable et représente une véritable mine d’informations. En fait, l’on pourrait s’en contenter puisqu’il contient une multitude d’adresses d’autres sites. Un bref historique est essentiel pour comprendre sa place et son rôle dans le domaine des CCI. Créée en 1992 par la National Academy of Sciences et rattachée deux ans plus tard au Aspen Institute, la table ronde sur les CCI est un forum qui vise à permettre aux acteurs concernés – bailleurs de fonds, directeurs, fournisseurs d’assistance technique, évaluateurs et fonctionnaires du secteur public – de discuter des leçons potentielles tirées des initiatives en place à travers le pays et de travailler ensemble sur les problèmes communs rencontrés. Financée par l’administration fédérale et une dizaine de fondations privées, elle a donné jour à des publications et des activités importantes : • Voices from the Field: Learning from Comprehensive Community Initiatives Ce document, réalisé en 1995 à partir des débats menés dans des groupes de discussion regroupant divers parties prenantes, brosse le portrait des CCI et s’intéresse notamment à leurs buts, principes et stratégies opérationnelles, ainsi qu’aux tensions qui opposent leurs partenaires. • New Approaches to Evaluating Comprehensive Community Initiatives (1995) : Volume 1 : Concepts, Methods, and Contexts et New Approaches to Evaluating Community Initiatives (1998) : Volume 2: Theory, Measurement, and Analysis. En 1994, la table ronde installe le comité directeur sur l’évaluation afin de trouver des solutions aux limites des méthodes traditionnelles d’évaluation pour évaluer l’efficacité des CCI et apprendre des expériences en marche. C’est dans le cadre des travaux du comité que ces deux documents ont été publiés. Le premier volume traite de la question de l’évaluation des CCI et montre à la fois en quoi (i) leur conception même se prête mal à cet exercice et (ii) l’évaluation dite traditionnelle est insuffisante pour y parvenir. Le second volume fait le point sur l’approche de la théorie du changement, élaborée au cours des dernières années pour évaluer les CCI. • Les ressources Internet pour les CCI La première est la Community Building Resource Exchange (Centre d’échange de ressources pour le développement des collectivités) qui donne accès, entre autres, à une foule de sites Internet, de références bibliographiques, de fiches de CCI, etc. http://www.commbuild.org 50 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? La seconde est le site Internet de la table ronde à partir duquel il est possible de télécharger gratuitement les documents susmentionnés (auxquels s’est ajouté dernièrement Voices of the Field II). Le site propose également un catalogue d’instruments de mesures, intitulé Measures for Community Research, sorte de centre d’information en constante évolution devant aider les chercheurs et les praticiens. http://www.aspenroundtable.org/ • Training for Racial Equity and Inclusion En 1998, la table ronde a commencé à travailler sur un nouveau projet - Examining Comprehensive Community Revitalization through a Race/Ethnicity Lens – s’intéressant au croisement entre le racisme structurel et la redynamisation des collectivités. Quatre ans plus tard, ce travail a permis la rédaction de ce guide de programmes. La Annie E. Casey Foundation, qui œuvre au développement des familles et des collectivités, a mis sur pied plusieurs initiatives intégrées de type CCI et porte une attention soutenue à la question de l’évaluation. Son site Internet doit absolument être consulté : en plus de s’inscrire gratuitement au bulletin trimestriel Casey Connects, l’internaute sera en mesure de télécharger plusieurs études d’évaluation : http://www.aecf.org/ Situé à Cleveland, le Center on Urban Poverty and Social Change s’intéresse à la question de la concentration et de la persistance de la pauvreté urbaine, ainsi qu’à la façon dont les changements sociaux et économiques ont un impact sur les collectivités défavorisées, surtout via le développement de celles-ci. Ce centre de recherche s’est doté d’un site Internet très complet qui propose de nombreuses publications : http://povertycenter.cwru.edu/ La firme Abt Associates Inc est une importante firme-conseil qui fait notamment de la recherche, de la planification stratégique, de l’assistance technique et de l’évaluation, aussi bien pour les gouvernements que pour les fondations. Son site Internet met en ligne de nombreux documents, dont plusieurs études d’évaluation : http://www.abtassoc.com/ Le Comprehensive Community Revitalization Program (CCRP) est l’une des rares CCI qui ait un site Internet qui vaille le détour. En plus de la description de ses divers programmes, il permet 51 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? de télécharger plusieurs publications qui portent sur elle, notamment son Bulletin trimestriel The Reporter : http://www.ccrpinc.org/ Le U.S. Department of Housing and Urban Development (ministère américain du Logement et du développement urbain) administre notamment l’initiative Renewal Communities, Urban Empowerment Zones and Enterprise Communities (RC/EZ/EC) et accorde une aide financière à de nombreuses activités et projets. Son site Internet malheureusement peu convivial offre néanmoins un contenu informatif de qualité : http://www.hud.gov/ Le Harvard Family Research Project (de la Harvard Graduate School of Education) aide les décideurs, les fondations et les praticiens à élaborer des stratégies qui favorisent la réussite sociale et scolaire et améliorent le bien-être des enfants, des familles et des collectivités – en colligeant et analysant des résultats de recherche et des informations. Son site Internet met à dispositions des visiteurs de nombreuses publications (dont la plupart sont gratuitement téléchargeables) classées dans quatre catégories : soins des enfants en bas âge; famille, école et collectivité; évaluation et reddition de comptes; formation continue. Il est également possible de s’abonner sans frais à son bulletin trimestriel The Evaluation Exchange : http://www.gse.harvard.edu/~hfrp/ 2. Références Annie E. Casey Foundation (2002) RCI Planning Phase: Summary Assessment Report. Adresse internet : http://www.aecf.org/publications/rciplan/ BJA (2001) Comprehensive Communities Program : Program Account. In Bureau of Justice Bulletin, U.S. Department of Justice. Build A Generation (2001) Fort Collins : Risk Assessment 2001. Fort Collins (Colorado). Bynum Timothy and al. (1999) National Evaluation of Weed and Seed : Pittsburgh Case Study. Research Report. National Institute of Justice, U.S. Department of Justice. 52 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? CIPC (1999) Répertoire-Synthèse II sur la prévention de la criminalité : analyse comparée d’actions réussies pour la sécurité de la collectivité. CIPC, Montréal. Dunworth, Terence and al. (1999) National Evaluation of Weed & Seed : Cross-Site Analysis. Research Report, National Institute of Justice, U.S. Department of Justice. Halpern, Robert (1995) Rebuilding the Inner City : A History of Neighborhood Initiatives to Address Poverty in the United States. Columbia University Press, New York. Hawkins, David J. (1999) « Preventing Crime and Violence through Communities That Care » in European Journal on Criminal Policy and Research, vol. 7, p.443-458. Kelling, George L. and al. (1998). The Bureau of Justice Assistance Comprehensive Communities Program : A Preliminary Report. Research in Brief, National Institute of Justice, U.S. Department of Justice. Kubish, Ann and al. (1995) New Approaches to Evaluating Comprehensive Community Initiatives, volume 1 : Concepts, Methods, and Contexts. Roundtable on Comprehensive Community Initiatives, The Aspen Institute, New York. Kubish, Ann and al. (1998) New Approaches to Evaluating Community Initiatives, volume 2: Theory, Measurement, and Analysis. Roundtable on Comprehensive Community Initiatives, The Aspen Institute, New York. Rich, Thomas and al. (1999) Police Department : Information Systems Technology Enhancement Project. Case Study : Hartford, Connecticut. Abt Associates Inc, Cambridge. Roundtable on Comprehensive Community Initiatives (1995) Voices from the Field: Learning from the Early Work of Comprehensive Community Initiatives. The Aspen Institute, New York. Roundtable on Comprehensive Community Initiatives (2002) Voices from the Field II : Reflections on Comprehensive Community Change. The Aspen Institute, New-York. 53 La pratique d’évaluation des Comprehensive Community Initiatives : quel intérêt pour la prévention ? Spilka, Gerry and Tom Burns (1998) Comprehensive Community Revitalization Program. Final Assessment Report. The OMG Center for Collaborative Learning, Philadelphia. Walsh, Joan (1997) Stories of Renewal: Community Building and the Future of Urban America. Report, Rockefeller Foundation. 54