Fiche de révision : Méthodes d'évaluation des politiques publiques

📋 Plan du Cours

1. Évaluation de politiques publiques
2. Problème fondamental d'évaluation
3. Solutions à l'évaluation
4. Régression pour effets causaux
5. Exemple fictif numérique
6. Pourquoi évaluer ?
7. Bénéfices de l’évaluation
8. Histoire de l’évaluation en France
9. Acteurs de l’évaluation
10. Pratiques d’évaluation
11. Effet d’un programme
12. Notation des effets

📖 1. Évaluation de politiques publiques

🔑 Notions clés & Définitions

• Évaluation de politiques publiques : Processus systématique visant à analyser la pertinence, l’efficacité, l’efficience et la cohérence d’une politique ou d’un programme public, afin d’éclairer la prise de décision (voir cadre général de l’évaluation).
• Objectifs de l’évaluation : Finalités poursuivies par l’évaluation, telles que mesurer l’impact d’une politique, justifier des choix budgétaires ou améliorer la performance des actions publiques (voir cadre général de l’évaluation).
• Définition et cadre général de l’évaluation : Cadre méthodologique structurant l’analyse des politiques publiques, intégrant les notions de légitimité, de critères d’évaluation, et de processus permettant de répondre aux questions posées par les décideurs (voir cadre général de l’évaluation).

📝 Points essentiels

L’évaluation de politiques publiques constitue une étape clé dans la gestion publique, permettant de mesurer si les objectifs fixés ont été atteints et à quel coût. Elle doit respecter un cadre méthodologique précis, intégrant la légitimité (voir section 3) et les critères d’évaluation (efficacité, efficience, etc.). Les objectifs de l’évaluation varient selon le contexte : certains visent à justifier une dépense, d’autres à améliorer la performance ou à orienter de nouvelles politiques. La définition de l’évaluation doit s’inscrire dans un cadre général clair, qui précise les méthodes, les indicateurs, et les acteurs impliqués, pour garantir la crédibilité et la pertinence des résultats. La démarche doit également respecter la légitimité, notamment en assurant la transparence et la participation des acteurs concernés (voir section 3).

💡 À retenir

L’évaluation de politiques publiques est un processus structuré visant à analyser la performance des actions publiques selon des critères précis, afin d’éclairer la décision politique et d’améliorer la gestion des ressources.

📖 2. Problème fondamental d'évaluation

🔑 Notions clés & Définitions

• Problème fondamental d’évaluation : Difficulté centrale à mesurer l’impact réel d’une politique ou d’un programme en raison de l’impossibilité d’observer simultanément le résultat avec et sans l’intervention, ce qui complique la détermination de l’effet causal.
• Manque de contre-factuel : Absence ou difficulté à construire une situation hypothétique (contre-factuelle) représentant ce qui aurait été observé si la politique n’avait pas été mise en œuvre, essentiel pour isoler l’effet de l’intervention.
• Dilemme de l’évaluation ex ante vs ex post : Tension entre l’évaluation avant la mise en œuvre (ex ante), qui doit prévoir les effets potentiels, et après (ex post), qui doit mesurer les effets réels, chacun présentant des défis spécifiques.
• Problème de sélection : Difficulté à assurer que les unités ou individus évalués soient représentatifs ou comparables, notamment lorsque la participation à une politique est volontaire, ce qui peut introduire un biais dans l’évaluation.
• Auteur/Théoricien : PERROUX (date) : souligne que l’évaluation doit faire face à l’impossibilité de mesurer directement l’effet causal sans biais, en raison de l’absence de contre-factuel fiable.

📝 Points essentiels

• La difficulté principale réside dans l’établissement d’un contre-factuel crédible pour comparer ce qui aurait été observé sans l’intervention.
• Le manque de contre-factuel est souvent comblé par des méthodes expérimentales ou quasi-expérimentales, mais leur mise en œuvre n’est pas toujours possible ou éthique.
• Le dilemme de l’évaluation ex ante versus ex post reflète la tension entre la prévision des effets potentiels et la mesure des effets réels, chaque étape étant sujette à des biais spécifiques.
• Le problème de sélection est accentué lorsque la participation à une politique est volontaire, ce qui peut biaiser l’estimation des effets si les participants diffèrent systématiquement des non-participants.
• La compréhension de ces concepts est essentielle pour analyser la robustesse et la fiabilité des évaluations de politiques publiques.

💡 À retenir

Le problème fondamental d’évaluation repose sur l’incapacité à observer simultanément l’état avec et sans intervention, rendant difficile l’identification précise de l’effet causal, notamment en raison du manque de contre-factuel et du problème de sélection.

📖 3. Solutions à l'évaluation

🔑 Notions clés & Définitions

• Solutions à l’évaluation : Ensemble des méthodes et approches permettant de répondre au problème fondamental d’évaluation, notamment en contournant l’absence de contre-factuel ou en améliorant la crédibilité des résultats (voir section 2).
• Méthodes pour contourner le problème fondamental : Techniques visant à pallier l’impossibilité d’observer directement le contre-factuel, telles que l’utilisation d’approches expérimentales ou quasi-expérimentales, ou encore l’exploitation de variations naturelles ou de données de panel (voir section 2).
• Approches expérimentales : Méthodes d’évaluation qui reposent sur la randomisation ou la manipulation contrôlée des variables, permettant d’isoler l’effet causal en créant un groupe témoin et un groupe traité de manière aléatoire (voir section 2).
• Approches quasi-expérimentales : Techniques d’évaluation qui utilisent des variations naturelles ou des méthodes d’appariement, de différence en différences ou d’instrumentation pour estimer l’effet causal sans recourir à la randomisation, souvent en exploitant des situations où le traitement est assigné de façon non aléatoire mais exogène (voir section 2).
• Solutions à l’évaluation : Ensemble des stratégies permettant de produire des estimations crédibles des effets d’un programme ou d’une politique, en contournant ou en minimisant le problème du contre-factuel (voir section 4).

📝 Points essentiels

• Les solutions à l’évaluation incluent principalement deux grandes catégories : les approches expérimentales, qui garantissent la randomisation et donc la crédibilité de l’effet causal, et les approches quasi-expérimentales, qui exploitent des variations naturelles ou des méthodes statistiques pour approcher l’effet causal dans des contextes où la randomisation n’est pas possible.
• Les approches expérimentales sont considérées comme la référence en termes de crédibilité, mais leur mise en œuvre peut être coûteuse ou éthiquement difficile.
• Les approches quasi-expérimentales sont souvent utilisées dans la pratique, notamment par l’intermédiaire de techniques comme la différence en différences, l’appariement ou l’instrumentation, pour réduire le biais de sélection et améliorer la crédibilité des estimations.
• La sélection de la méthode dépend du contexte, de la disponibilité des données, et de la faisabilité pratique ou éthique.
• La combinaison de plusieurs méthodes ou la validation croisée des résultats renforcent la robustesse des conclusions (voir section 4).

💡 À retenir

Les solutions à l’évaluation combinent approches expérimentales et quasi-expérimentales pour contourner le problème du contre-factuel, permettant ainsi d’obtenir des estimations crédibles des effets causaux dans des contextes variés.

📖 4. Régression pour effets causaux

🔑 Notions clés & Définitions

• Régression pour effets causaux : Méthode économétrique utilisant la régression pour estimer l’impact causal d’un traitement ou d’une intervention, en contrôlant pour des variables confondantes, afin d’isoler l’effet propre du traitement.
• Utilisation de la régression pour identifier les effets causaux : Approche consistant à exploiter la relation statistique entre une variable explicative (ex : traitement) et une variable de résultat, en intégrant des variables de contrôle, pour déduire un effet causal.
• Modèles économétriques appliqués à l’évaluation : Modèles statistiques spécifiques conçus pour analyser l’impact des politiques ou programmes publics, en tenant compte des biais de sélection et des variables confondantes, afin d’estimer des effets causaux fiables.

📝 Points essentiels

• La régression pour effets causaux repose sur l’idée que, en contrôlant pour un ensemble de variables confondantes, on peut approcher l’effet causal d’un traitement.
• La difficulté principale est le problème du contre-factuel : on ne peut pas observer simultanément l’état d’un même individu avec et sans traitement. La régression tente de contourner ce problème en utilisant des variables de contrôle ou des techniques d’identification.
• Les modèles économétriques appliqués à l’évaluation doivent respecter des hypothèses strictes (ex : exogénéité, absence de biais de sélection) pour que les estimations soient valides.
• La régression peut être combinée avec d’autres méthodes (ex : variables instrumentales, différences en différences) pour renforcer l’identification causale.
• La clé de l’utilisation efficace de la régression pour effets causaux est la sélection adéquate des variables de contrôle et la vérification des hypothèses sous-jacentes.

💡 À retenir

La régression pour effets causaux est une technique économétrique essentielle pour estimer l’impact réel d’un programme ou d’une politique, en contrôlant pour les biais de sélection et en s’appuyant sur des modèles rigoureux d’identification.

📖 5. Exemple fictif numérique

🔑 Notions clés & Définitions

• Exemple fictif numérique : Illustration chiffrée d’une situation d’évaluation utilisant des données simulées ou hypothétiques pour démontrer une méthode ou un concept d’évaluation.
• Illustration chiffrée d’une évaluation : Représentation numérique concrète permettant de visualiser ou d’analyser les résultats d’une évaluation, facilitant la compréhension des effets ou des méthodes.
• Application pratique des méthodes d’évaluation : Mise en œuvre concrète de techniques ou d’approches d’évaluation dans un contexte simulé ou réel, permettant de tester ou de démontrer leur efficacité ou leur fonctionnement.

📝 Points essentiels

• L’exemple fictif numérique sert à illustrer de manière concrète et pédagogique une méthode d’évaluation, en utilisant des données simulées pour éviter les biais liés à la terrain réel.
• La représentation chiffrée permet de visualiser les effets potentiels d’un programme ou d’une politique, en manipulant des variables et en calculant des indicateurs clés (ex : effet du traitement, différence entre groupes).
• L’application pratique dans cet exemple montre comment les concepts théoriques, tels que la mesure d’effet ou la gestion du problème fondamental d’évaluation, peuvent être mis en œuvre dans un cadre contrôlé pour mieux comprendre leur fonctionnement.
• La démarche inclut souvent la création de données hypothétiques, leur traitement statistique, puis l’interprétation des résultats pour illustrer la méthode d’évaluation choisie, comme la différence de moyennes ou la régression.

💡 À retenir

L’exemple fictif numérique est un outil pédagogique permettant de visualiser et de tester concrètement les méthodes d’évaluation à travers des données simulées, facilitant la compréhension des concepts clés sans dépendre de données réelles.

📖 6. Pourquoi évaluer ?

🔑 Notions clés & Définitions

• Pourquoi évaluer ? : Se pose la question de l’intérêt et des objectifs de l’évaluation des politiques publiques, afin de déterminer leur efficacité, leur justice ou leur légitimité (voir section 3).
• Raisons d’efficacité économique : Justification de l’évaluation par la recherche d’un meilleur usage des ressources, en assurant que les politiques publiques produisent des résultats optimaux en termes de coûts et bénéfices.
• Justice sociale : Notion selon laquelle l’évaluation doit permettre de garantir une répartition équitable des ressources et des effets des politiques, en tenant compte des inégalités et des besoins spécifiques.
• Neutralité des politiques : Principe selon lequel l’évaluation doit permettre d’assurer que les politiques ne favorisent pas certains groupes ou intérêts de manière injustifiée, en favorisant une prise de décision objective (voir section 3).
• Raisons démocratiques et information des citoyens : Argument selon lequel l’évaluation permet d’informer les citoyens et les décideurs, renforçant la transparence, la légitimité et la responsabilisation dans la gestion des politiques publiques (voir section 3).

📝 Points essentiels

• L’évaluation vise à répondre à différentes questions : pourquoi évaluer ? (justification, objectifs).
• Elle doit concilier efficacité économique, justice sociale et neutralité pour garantir une gestion équilibrée et équitable des ressources publiques.
• La légitimité (voir section 3) de l’évaluation repose aussi sur la transparence et l’information, essentielles pour la confiance démocratique.
• La neutralité et la justice sociale sont souvent en tension avec l’efficacité économique, nécessitant un arbitrage dans la conception des politiques.
• La finalité démocratique de l’évaluation est de fournir aux citoyens une compréhension claire des impacts et des enjeux des politiques, renforçant leur participation et leur contrôle.

💡 À retenir

L’évaluation des politiques publiques est essentielle pour garantir leur efficacité, leur justice et leur légitimité démocratique, en permettant une gestion transparente, équilibrée et responsable des ressources.

📖 7. Bénéfices de l’évaluation

🔑 Notions clés & Définitions

• Bénéfices de l’évaluation : Ensemble des avantages tirés de la pratique d’évaluer, notamment en termes d’amélioration des politiques et de la gestion des ressources publiques.
• Apport de l’évaluation aux politiques publiques : Contribution de l’évaluation à la conception, à la mise en œuvre et à l’ajustement des politiques, en fournissant des informations sur leur efficacité et leur impact (voir section 3).
• Amélioration de la prise de décision : Processus par lequel l’évaluation permet d’orienter, d’ajuster ou de valider des choix politiques ou administratifs, en se basant sur des données fiables et pertinentes (voir section 4).
• Anticipation des conditions de valorisation : Capacité de l’évaluation à prévoir dans quelles conditions et à quel moment les résultats d’un programme ou d’une politique seront susceptibles d’être valorisés ou d’avoir un impact positif (voir section 2).

📝 Points essentiels

• L’évaluation permet de mesurer l’impact réel des politiques publiques, ce qui favorise une gestion plus efficace et une allocation optimale des ressources.
• Elle contribue à renforcer la légitimité des actions publiques en fournissant des preuves objectives, ce qui peut renforcer la confiance des citoyens et des acteurs concernés (voir section 3).
• L’évaluation facilite la prise de décision en identifiant les leviers d’amélioration, en évitant la poursuite de politiques inefficaces ou coûteuses, et en permettant d’adapter rapidement les stratégies.
• Elle joue un rôle clé dans l’anticipation des conditions de valorisation en identifiant les moments et les contextes favorables à la diffusion des résultats, ce qui optimise leur impact.
• La pratique régulière de l’évaluation favorise une culture d’amélioration continue et d’apprentissage institutionnel, essentielle pour la modernisation des politiques publiques (voir section 2).

💡 À retenir

L’évaluation, en fournissant des informations précises sur l’impact et l’efficacité des politiques, permet d’améliorer la prise de décision, d’optimiser la gestion des ressources et d’anticiper les conditions favorables à la valorisation des résultats.

📖 8. Histoire de l’évaluation en France

🔑 Notions clés & Définitions

• Cellules de Rationalisation Budgétaire (1968-1984) : unités créées au sein des ministères pour optimiser et rationaliser la gestion budgétaire, en mettant en place des pratiques d’évaluation pour mieux contrôler les dépenses publiques.
• Office parlementaire des choix scientifiques et technologiques (1983) : organisme chargé d’assister le Parlement dans l’évaluation et la prise de décisions concernant les choix scientifiques et technologiques, favorisant une meilleure intégration de la science dans le processus législatif.
• Rapports gouvernementaux sur l’évaluation (1986-1989) : séries de rapports sponsorisés par le gouvernement Rocard, visant à approfondir la pratique de l’évaluation des politiques publiques pour améliorer leur efficacité et leur transparence.
• Décret n°90-82 (1990) : texte législatif instituant un mécanisme interministeriel pour l’évaluation des politiques publiques, notamment via la création du Conseil Scientifique de l’Évaluation (CSE), afin d’assurer un contrôle systématique des effets des politiques.
• LOLF (2001) : loi organique relative aux lois de finances, qui introduit une logique de programmes, d’objectifs et de résultats, renforçant la nécessité d’évaluer la performance des politiques publiques pour une gestion plus orientée vers les résultats.
• Réformes récentes (RGPP, MAP) : initiatives telles que la Révision Générale des Politiques Publiques (2007) et la Modernisation de l’Action Publique (2012), visant à réduire les dépenses et à améliorer l’efficacité de l’action publique par une évaluation systématique et continue des politiques.

📝 Points essentiels

L’évaluation en France a connu plusieurs phases structurantes, débutant avec la mise en place des Cellules de Rationalisation Budgétaire (1968-1984), qui ont introduit une culture de contrôle et d’optimisation des dépenses dans l’administration. La création en 1983 de l’Office parlementaire des choix scientifiques et technologiques marque une étape vers une évaluation plus spécialisée, intégrant la science dans le processus décisionnel. Entre 1986 et 1989, plusieurs rapports gouvernementaux ont renforcé cette dynamique en proposant des pratiques concrètes pour mesurer l’efficacité des politiques publiques. La loi de 1990 (décret n°90-82) a formalisé cette démarche en instituant un mécanisme interministeriel, notamment avec le Conseil Scientifique de l’Évaluation (CSE). La loi organique de 2001 (LOLF) a profondément modifié la gestion publique en introduisant une logique basée sur la performance, nécessitant une évaluation systématique des résultats. Enfin, les réformes récentes comme la RGPP (2007) et la MAP (2012) ont poursuivi cet objectif en cherchant à réduire la dépense publique tout en améliorant la qualité et la transparence de l’évaluation des politiques.

💡 À retenir

L’histoire de l’évaluation en France s’articule autour d’un mouvement progressif vers une gestion publique plus transparente, efficace et basée sur la performance, marqué par la création d’organismes spécialisés et par des lois clés qui ont institutionnalisé la pratique de l’évaluation dans le cadre des politiques publiques.

📖 9. Acteurs de l’évaluation

🔑 Notions clés & Définitions

• Acteurs de l’évaluation : Ensemble des personnes ou institutions impliquées dans la réalisation, la supervision ou l’utilisation des évaluations de politiques publiques ou programmes. Ils jouent un rôle dans la conception, la conduite ou l’interprétation des évaluations.

• Législateurs et parlementaires : Responsables politiques élus ou représentants du pouvoir législatif, qui peuvent commander, orienter ou utiliser les résultats des évaluations pour orienter la législation, contrôler l’action publique ou justifier des décisions politiques.

• Administrations et institutions (Cour des Comptes, IGAS) : Organismes publics ou quasi-autonomes chargés de réaliser ou d’auditer les évaluations. La Cour des Comptes contrôle la gestion financière et la performance des politiques publiques, tandis que l’IGAS (Inspection Générale des Affaires Sociales) évalue l’efficacité et la qualité des politiques sociales.

• Comités nationaux d’évaluation : Instances consultatives ou décisionnelles, souvent composées d’experts, qui coordonnent, valident ou proposent des évaluations à l’échelle nationale, afin d’assurer leur cohérence et leur crédibilité.

📝 Points essentiels

• Les acteurs de l’évaluation peuvent être publics ou privés, mais leur rôle principal est d’assurer la qualité, la fiabilité et la pertinence des évaluations.
• Les législateurs et parlementaires interviennent souvent en tant que commanditaires ou utilisateurs des résultats, influençant la politique à partir des évaluations.
• Les administrations comme la Cour des Comptes ou l’IGAS ont une fonction de contrôle, d’audit ou d’évaluation interne, contribuant à la transparence et à l’amélioration de la gestion publique.
• Les comités nationaux d’évaluation jouent un rôle de coordination et de validation, renforçant la légitimité des évaluations à l’échelle nationale.
• La relation entre ces acteurs est souvent caractérisée par une interaction entre commandement, réalisation, contrôle et utilisation des résultats d’évaluation.

💡 À retenir

Les acteurs de l’évaluation, qu’ils soient législateurs, administrations ou comités, participent à un cycle où ils commandent, réalisent, contrôlent et exploitent les évaluations pour orienter et améliorer l’action publique.

📖 10. Pratiques d’évaluation

🔑 Notions clés & Définitions

• Pratiques d’évaluation : Ensemble des méthodes et techniques utilisées pour analyser la performance, l’impact ou la pertinence d’un programme ou d’une politique publique, en s’appuyant sur des indicateurs précis (voir section 4).
• Méthodologies employées : Approches structurées et systématiques pour conduire une évaluation, telles que le contrôle de légalité, l’audit de gestion ou l’évaluation de performance, permettant d’assurer la fiabilité et la pertinence des résultats (voir section 4).
• Indicateurs de suivi et d’évaluation : Variables ou mesures quantitatives ou qualitatives permettant de suivre l’évolution d’un programme ou d’évaluer ses effets, comme la satisfaction, la productivité ou la réduction des inégalités (voir section 11).
• Mise en œuvre dans les administrations : Application concrète des pratiques d’évaluation au sein des structures publiques, impliquant la collecte de données, l’analyse, et la production de rapports pour orienter la décision publique et assurer la transparence (voir section 8).
• Contrôle de légalité : Vérification que l’action publique respecte le cadre juridique et réglementaire, garantissant la conformité des décisions et des actions entreprises (voir section 16).
• Management control : Processus de pilotage interne visant à assurer l’efficacité et l’efficience des activités administratives, en utilisant des indicateurs de performance pour ajuster les actions (voir section 16).

📝 Points essentiels

• Les pratiques d’évaluation mobilisent diverses méthodologies pour analyser la performance et l’impact des politiques publiques, en intégrant notamment le contrôle de légalité, l’audit de gestion, et l’évaluation de performance (voir section 4).
• La sélection et l’utilisation d’indicateurs de suivi et d’évaluation sont cruciales pour mesurer la progression, l’efficience, et l’efficacité des programmes, tout en permettant un ajustement en cours de mise en œuvre (voir section 11).
• La mise en œuvre dans les administrations nécessite une organisation adaptée, incluant la collecte systématique de données, la formation des agents, et la production régulière de rapports pour alimenter la décision publique (voir section 8).
• Ces pratiques contribuent à renforcer la transparence, la responsabilité, et la crédibilité de l’action publique, en permettant un contrôle interne et externe efficace (voir section 16).
• La diversité des pratiques d’évaluation doit s’adapter aux objectifs spécifiques de chaque programme, en combinant contrôle de légalité, gestion, et performance pour une vision globale (voir section 16).

💡 À retenir

Les pratiques d’évaluation, par leurs méthodologies variées et leur mise en œuvre structurée dans les administrations, sont essentielles pour garantir la performance, la transparence et l’amélioration continue de l’action publique.

📖 11. Effet d’un programme

🔑 Notions clés & Définitions

• Effet d’un programme : La variation causale attribuable à la mise en œuvre d’un programme ou d’une intervention, mesurée par la différence entre le résultat observé et ce qui aurait été observé en l’absence du programme (contre-factuel).
• Mesure de l’impact réel d’un programme : L’estimation précise de la différence entre le résultat observé après l’intervention et le résultat hypothétique sans intervention (contre-factuel), permettant d’évaluer la véritable efficacité du programme.
• Différence entre résultats observés et contre-factuels : La distinction fondamentale en évaluation d’impact, où le résultat observé est celui mesuré dans la réalité, et le contre-factuel représente le résultat hypothétique si le programme n’avait pas été mis en place, concept central pour déterminer l’effet causal.

📝 Points essentiels

• L’effet d’un programme se définit comme la différence causale entre le résultat avec intervention et le résultat sans intervention, ce qui nécessite d’estimer le contre-factuel, souvent inobservable directement.
• La mesure de l’impact réel repose sur la comparaison entre résultats observés et contre-factuels, souvent approchée par des méthodes économétriques telles que la régression, la randomisation ou les techniques de contrôle.
• La difficulté principale réside dans l’observation du contre-factuel, qui est un concept théorique, d’où l’importance des méthodes pour l’estimer ou le simuler (voir section 3).
• La validité de l’évaluation dépend de la capacité à isoler l’effet causal du programme, en contrôlant les facteurs confondants et en respectant des hypothèses telles que l’indépendance conditionnelle (voir section 4).
• La différence entre résultats observés et contre-factuels permet de déterminer si le programme a eu un effet positif, négatif ou nul, en tenant compte des autres facteurs influents.

💡 À retenir

L’effet d’un programme est la différence causale entre le résultat observé et le résultat hypothétique sans intervention, ce qui nécessite d’estimer le contre-factuel pour mesurer l’impact réel de manière fiable.

📖 12. Notation des effets

🔑 Notions clés & Définitions

• Effet d’un programme : La différence entre le résultat potentiel si l’individu a été exposé au programme (Y1i) et le résultat potentiel s’il ne l’a pas été (Y0i). (Salanié, 2022) : "L’effet causal individuel est la différence Y1i − Y0i, mais il est inobservable en pratique."

• Notation des effets : La représentation formelle des effets du programme, notamment par la différence entre les résultats observés pour les groupes traités et non traités, souvent exprimée par E(Yi | Ti) pour l’effet moyen dans chaque groupe. (Salanié, 2022) : "La notation permet de formaliser la mesure de l’impact à l’échelle individuelle ou populationnelle."

• Évaluation quantitative des effets : La quantification précise de l’impact du programme, généralement par des indicateurs numériques comme la moyenne des différences ou des effets moyens (ex : effet moyen sur le groupe traité). (Salanié, 2022) : "Elle consiste à estimer la magnitude de l’effet à partir des données disponibles."

• Évaluation qualitative des effets : La description ou l’interprétation des effets en termes de sens, de direction ou de nature, sans nécessairement fournir une valeur numérique précise. (Salanié, 2022) : "Elle vise à comprendre la nature de l’impact, ses implications et ses limites."

• Interprétation des effets mesurés : La compréhension et l’analyse du sens des effets estimés, notamment en tenant compte des biais, de la significativité et du contexte. (Salanié, 2022) : "Elle permet de traduire les résultats en recommandations ou en conclusions pour la politique publique."

📝 Points essentiels

• La notation des effets repose sur la distinction entre effets individuels (Y1i − Y0i) et effets moyens (ex : E[Y1i | Ti=1] − E[Y0i | Ti=0]) pour rendre compte de l’impact global d’un programme. (Salanié, 2022)

• La quantification des effets nécessite de surmonter le problème fondamental d’évaluation, notamment en utilisant des méthodes pour estimer les effets moyens, tels que la différence de moyennes ou des modèles économétriques. (Salanié, 2022)

• La compréhension qualitative des effets implique d’analyser leur nature, leur direction, leur signification et leur pertinence dans le contexte de la politique évaluée. (Salanié, 2022)

• L’interprétation doit prendre en compte la présence de biais, notamment le biais de sélection, et la non-observabilité des effets individuels, pour éviter des conclusions erronées. (Salanié, 2022)

💡 À retenir

La notation des effets permet de formaliser et de quantifier l’impact d’un programme, tandis que leur interprétation doit être contextualisée pour en tirer des conclusions pertinentes pour la politique publique.

📊 Tableaux de Synthèse

⚠️ Pièges & Confusions Fréquentes

1. Confondre évaluation ex ante (prévision) et ex post (mesure réelle).
2. Sous-estimer l’impact du biais de sélection dans l’évaluation sans méthode adaptée.
3. Croire que la randomisation est toujours éthique ou faisable.
4. Confondre corrélation et causalité dans l’analyse par régression.
5. Négliger l’importance du contre-factuel pour mesurer l’effet réel.
6. Utiliser une méthode quasi-expérimentale sans vérifier ses hypothèses.
7. Supposer que toutes les variables confondantes sont contrôlées dans une régression.

✅ Checklist Examen

1. Connaître la définition de l’évaluation de politiques publiques selon le cadre général (voir section 1).
2. Expliquer le problème fondamental d’évaluation, notamment le manque de contre-factuel et le biais de sélection (voir section 2).
3. Identifier les méthodes expérimentales et quasi-expérimentales pour contourner le problème fondamental (voir section 3).
4. Décrire la différence entre évaluation ex ante et ex post, avec leurs enjeux respectifs (voir section 2).
5. Citer les auteurs clés : PERROUX sur la difficulté de mesurer l’effet causal, Rosenbaum & Rubin sur la propension (section 2, 4).
6. Comprendre le principe de la régression pour effets causaux et ses contrôles (voir section 4).
7. Savoir ce qu’est une méthode quasi-expérimentale, avec un exemple comme la différence en différences (voir section 3).
8. Identifier les principaux biais dans l’évaluation : biais de sélection, biais de mesure, biais de confusion (voir sections 2, 4).
9. Connaître les objectifs de l’évaluation : mesurer l’impact, justifier une dépense, améliorer la performance (section 1).
10. Maîtriser l’histoire de l’évaluation en France et ses acteurs principaux (voir résumé).
11. Identifier les acteurs impliqués dans l’évaluation : décideurs, évaluateurs, bénéficiaires (section 1).
12. Vérifier la maîtrise du vocabulaire spécifique : contre-factuel, effets causaux, différence en différences, randomisation (section 2, 3, 4).