Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

1 Dispositifs d’évaluation des politiques publiques et des programmes : connais

1 Dispositifs d’évaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogramme des acteurs et études de cas Etude pour le Comité d’évaluation et de contrôle des politiques publiques de l’Assemblée Nationale 13 février 2018 Maurice BASLÉ, professeur émérite des universités en sciences économiques Jean-Michel JOSSELIN, professeur des universités en sciences économiques Benoît LE MAUX, maître de conférences (HDR) en sciences économiques Université de Rennes 1 Centre de Recherche en Économie et Management (UMR CNRS 6211) maurice.basle@univ-rennes1.fr jean-michel.josselin@univ-rennes1.fr benoit.le-maux@univ-rennes1.fr Dispositifs d’évaluation des politiques publiques : méthodes et études de cas 2 SOMMAIRE RESUME .........................................................................................................................................................................3 1 UNE REVUE DES CONNAISSANCES DU DOMAINE DE L’EVALUATION DES POLITIQUES PUBLIQUES ET DES PROGRAMMES (EPPP) ...................................................................................................................................................4 1.1 STRATEGIE DE RECHERCHE DOCUMENTAIRE ....................................................................................................................... 4 1.2 DEFINITIONS, CRITERES, ETAPES ET PRINCIPES .................................................................................................................... 7 1.3 DES EVALUATIONS DISTINGUEES SELON DES CRITERES DE PERTINENCE, EFFICACITE, EFFICIENCE ET COHERENCE. ............................... 9 1.4 LES ETAPES DE L’EVALUATION ....................................................................................................................................... 11 1.5 LE RESPECT DE PRINCIPES ETHIQUES ET DEONTOLOGIQUES .................................................................................................. 13 2 DES CONTROVERSES SUR LES METHODES ET UN MODELE D’AIDE A LA DECISION..................................................... 15 2.1 LE CHOIX DES METHODES ET LE DEGRE DE CONFIANCE DANS LES RESULTATS DE L’EVALUATION ................................................... 15 2.2 DES DONNEES ET DES METRIQUES ................................................................................................................................. 19 2.3 DES INCERTITUDES INEVITABLES .................................................................................................................................... 20 2.4 POUR Y VOIR CLAIR : UN ARBRE DE DECISION ET DES TABLEAUX COMPARATIFS ....................................................................... 21 3 SOCIOGRAMME DES ACTEURS DE L’EVALUATION EN FRANCE .................................................................................. 28 3.1 L’EVALUATION DES POLITIQUES PUBLIQUES EN FRANCE ..................................................................................................... 28 3.2 LES COMMANDITAIRES EN EPPP ................................................................................................................................... 30 3.3 LES PRESTATAIRES EN EPPP ......................................................................................................................................... 34 3.4 BENEFICIAIRES, NON-BENEFICIAIRES ET CONTRIBUABLES : EVALUATION, DEMOCRATIE ET COMMUNICATION ................................. 36 4 DES ETUDES DE CAS POUR ILLUSTRER LES PRATIQUES DE L'EVALUATION EN FRANCE .............................................. 38 4.1 ÉTUDE QUALITATIVE : EVALUATION DU PROGRAMME DE REUSSITE EDUCATIVE ....................................................................... 38 4.2 ÉVALUATION PARTICIPATIVE : POLITIQUES DE DEPLACEMENT DE NUIT DANS L’AGGLOMERATION NANTAISE .................................. 41 4.3 ÉVALUATION EXPERIMENTALE : DISPOSITIFS D’AIDE A L’ACCES A L’EMPLOI DES JEUNES DIPLOMES ............................................... 44 4.4 ÉVALUATION QUASI-EXPERIMENTALE : LES EFFETS DU RECRUTEMENT EN CONTRAT AIDE SUR LA TRAJECTOIRE PROFESSIONNELLE ...... 46 4.5 ANALYSE D’IMPACT BUDGETAIRE : GENESE ET CONSTRUCTION DU GUIDE METHODOLOGIQUE DE LA HAUTE AUTORITE DE SANTE SUR L’IMPACT BUDGETAIRE DES MEDICAMENTS INNOVANTS ET ONEREUX .......................................................................................... 49 4.6 ANALYSE COUT-BENEFICE : EVALUATION SOCIO-ECONOMIQUE DES INVESTISSEMENTS PUBLICS DU COMMISSARIAT GENERAL A L’INVESTISSEMENT ........................................................................................................................................................... 52 ANNEXE 1. APERÇU DES SITES DE RESSOURCES ET EXTRACTION DE LEURS CONTENUS ............................................... 57 ANNEXE 2. DISCUSSION SUR LES CRITERES DE COMPARAISON DES METHODES .......................................................... 60 ANNEXE 3. RESSOURCES BIBLIOGRAPHIQUES .............................................................................................................. 62 LISTE DES FIGURES ....................................................................................................................................................... 63 LISTE DES TABLEAUX .................................................................................................................................................... 63 LISTE DES ENCADRES ................................................................................................................................................... 63 Dispositifs d’évaluation des politiques publiques : méthodes et études de cas 3 Résumé Le présent rapport vise à couvrir le champ des connaissances utiles aujourd’hui en évaluation des politiques publiques et des programmes (EPPP), à rendre compte des différentes méthodes existantes et de leurs forces et faiblesses, à présenter les principaux acteurs de l’évaluation en France et, enfin, à fournir quelques cas pratiques d’EPPP en France. Le rapport est d’abord fondé sur une revue documentaire à large spectre dans le temps et dans l’espace. L’EPPP est une activité aux origines lointaines pour certains champs de politiques publiques (éducation, aide sociale, santé), une activité qui a pris de nouvelles dimensions à partir des années 1970 tant en France que dans les grandes organisations internationales dont la Commission européenne. Le champ des publications est dominé par les revues et les ouvrages publiés en anglais. La revue documentaire dans ce champ des EPPP bute sur son manque de structuration tant au plan des publications de la recherche (plusieurs disciplines sont concernées), qu’au plan professionnel (grande diversité et éparpillement des pratiques des commanditaires et des prestataires). Le rapport est d’abord une tentative de revue des connaissances en EPPP que le lecteur doit maîtriser (partie 1). Un consensus existe sur les définitions de l’activité d’EPPP, sur les critères de pertinence, efficacité, efficience et cohérence qui sont utilisés et portés dans les cahiers des charges (ou termes de référence). Le consensus existe aussi sur la description des étapes nécessaires à la production de bonnes EPPP et sur le nécessaire respect de principes éthiques et déontologiques. Le rapport fournit ensuite une revue des méthodes (partie 2). La technicité est ici élevée. En outre, le choix des outils et des méthodes suscite des controverses. Il est exposé que les choix de méthode ne sont jamais neutres car ils influencent le degré de confiance dans les résultats des EPPP. Pour que le lecteur soit éclairé, un arbre de décision entre les différentes méthodes est ici proposé. L’arbre de décision publié dans ce rapport doit permettre à un commanditaire d’EPPP d’opter pour telle ou telle méthode en fonction des qualités qui sont requises : ici, la complétude, la simplicité, la transparence et la transférabilité des résultats. Une discussion pourrait conduire à augmenter le nombre de ces qualités. Le rapport tient ensuite compte du fait qu’en France, l’institutionnalisation des EPPP n’est pas encore achevée et qu’en conséquence les acteurs sont encore multiples et hétérogènes. Il contient un premier état des lieux à travers un sociogramme (partie 3). Enfin, afin de maitriser la réalité des activités d’EPPP en France, six études de cas sont présentées dans le rapport (partie 4). Elles sont analysées (commanditaires, objectifs, méthodes, résultats, recommandations) et discutées. Le lecteur pourra se forger à leur lecture une compréhension d’ensemble du domaine des EPPP. Dispositifs d’évaluation des politiques publiques : méthodes et études de cas 4 1 Une revue des connaissances du domaine de l’évaluation des politiques publiques et des programmes (EPPP) 1.1 Stratégie de recherche documentaire L’évaluation des politiques publiques est une prestation intellectuelle de connaissance de l’action publique. Ce caractère « cognitif » est reconnu tant en France qu’à l’étranger. La prestation évaluative mobilise des moyens humains et matériels spécifiques et permanents tant au service de la commande qu’à celui de l’usage des rapports et du suivi des recommandations. Compte tenu de son champ, les politiques publiques et leurs programmes, la prestation d’EPPP obéit à un ensemble de règles strictes qui doivent permettre de conjuguer rigueur scientifique dans l’aide à la décision publique, mais aussi opérationnalité (finalité gestionnaire), pédagogie (finalité d’apprentissage et de mobilisation des agents publics), éthique (finalité de compte-rendu), et surtout enrichissement du débat politique : ouverture au débat d’experts, au débat citoyen et préparation à l’animation des controverses (finalité informative et finalité démocratique). Une revue des connaissances d’une manière générale1 et a fortiori pour un domaine comme l’Evaluation des politiques publiques et des programmes doit permettre à tout un chacun d’avancer dans le repérage des dimensions du thème (dimension socio-politique, dimension économique et de gestion, dimension de l’activité d’évaluation elle-même comme pratique à la fois scientifique et professionnelle). La revue des connaissances permet également de sélectionner des concepts et mots- clés qui permettent à tout lecteur curieux de réinterroger les différentes bases de connaissance ensuite. Une revue des connaissances peut être orientée à des fins d’amélioration du savoir scientifique sur l’EPPP, à des fins de constitution d’une base de ressources et de composants pour l’enseignement, ou à des fins plus professionnelles d’amélioration de la mise en œuvre des activités d’EPPP soit comme commanditaire soit comme prestataire. 1Voir par exemple les références suivantes : - Université de Bretagne-Loire (2018) Elaborer une stratégie de recherche d’information, https://guides- formadoct.u-bretagneloire.fr/recherchedocumentaire. - Goarin CD, Giraud E, Mannina B, Quoniam L (1999). La méthodologie et la stratégie de recherche d’information à valeur-ajoutée sur Internet. Le micro-bulletin thématique du CNRS (L’information scientifique et technique et l’outil Internet, expériences, recherches et enjeux pour les professionnels de l’IST) : 47-67. - Hart C (2009) Doing a Literature Review. Sage editions. - Machi, LA et McEvoy BT (2016). The Literature Review: Six Steps to Success. Troisième édition. Dispositifs d’évaluation des politiques publiques : méthodes et études de cas 5 Encadré 1. Démarche de recherche documentaire en EPPP Pour la recherche d’ouvrages (français et étrangers) et de thèses en français, il est possible de consulter le Catalogue du système universitaire de documentation (Sudoc). Celui-ci est réalisé par les bibliothèques et centres de documentation de l’enseignement supérieur et de la recherche. Ses 12 millions de notices bibliographiques décrivent tous les types de documents (livres, thèses, revues, ressources électroniques, documents audiovisuels, etc.) ainsi que les collections de revues et journaux d’environ 2 000 établissements documentaires hors enseignement supérieur (bibliothèques municipales, centres de documentation, etc.). En outre, pour la recherche d’articles en français ou en anglais, le moteur de recherche Isidore (http://www.rechercheisidore.fr) moissonne les données de nombreux portails documentaires dont Cairn, HAL, etc. Il est aussi possible d’utiliser le moteur Business Source Complete ainsi que les ressources des catalogues des grands éditeurs scientifiques (Elsevier, Sage, Springer, etc.). Enfin, des remontées d’informations assez hétéroclites mais substantielles seront obtenues avec du requêtage avec les moteurs de recherche de type Google ou plus spécifiquement WorldwideScience : https://worldwidescience.org/wws/desktop/en/results.html. Toute stratégie de recherche documentaire commence par l’identification de mots-clés. A titre indicatif, voici une première liste sommaire en français et en anglais que le lecteur peut utiliser : - Évaluation de politiques publiques uploads/Politique/basle-josselin-le-maux-rapport-assemblee-nationale-fevrier-2018.pdf