📖 1. Définition et portée de l’évaluation d’impact
🔑 Notions clés & Définitions
Évaluation d’impact : Gertler et al., 2016 - Mesure des changements dans le bien-être des individus attribuables à un projet, un programme ou une politique particulière.
Contrefactuel : Savedoff, 2006 - Situation qui se serait produite en l’absence du programme et qui sert à comparer les résultats avec et sans intervention.
Évaluation : Gertler et al., 2016 - Appréciation périodique et objective de projets, programmes ou politiques prévus, en cours de réalisation ou achevés.
Impact : Ravallion, 2008 - Changement de résultat qui peut être attribué de manière causale au programme.
★ À maîtriser
L’évaluation pose trois types de questions : (Gertler et al., 2016) :
les questions descriptives sur les processus, les conditions, les relations organisationnelles et les points de vue
les questions normatives sur l’écart entre la situation observée et celle souhaitée
les questions de cause à effet sur les changements de résultats attribuables à l’intervention
Compléments
Les études d’évaluation d’impact font partie des techniques complémentaires qui appuient l’élaboration de politiques publiques fondées sur des preuves.
💡 Astuce mémo
Décrire ce qui se passe, juger ce qui devrait se passer, attribuer ce qui change.
📖 2. Raisons d’évaluer les politiques publiques
★ À maîtriser
La Déclaration de Paris définit les principes d’une aide plus efficace :
alignement
harmonisation et coordination
appropriation
gestion axée sur les résultats
responsabilité mutuelle
📌 L’évaluation répond à une exigence politique en favorisant la reddition de comptes, la transparence, le débat démocratique et la participation des acteurs, ainsi qu’à une exigence technique en améliorant l’orientation, l’efficacité et le rendement des interventions.
Les évaluations d’impact soutiennent les politiques fondées sur les faits en mettant l’accent sur les extrants et les résultats plutôt que sur les seuls intrants.
Compléments
L’évaluation des politiques publiques est au cœur des débats sur l’amélioration de l’efficacité de l’aide au développement, notamment dans le cadre du forum des principaux bailleurs animé par le CAD de l’OCDE.
Les évaluations d’impact améliorent la conception des projets, programmes et politiques de développement en comparant plusieurs options de conception ou en évaluant leur efficacité relative.
Les responsables de programme demandent des évaluations d’impact pour :
renforcer la responsabilisation
justifier les allocations budgétaires
orienter les décideurs
📖 3. Groupes et résultats potentiels
🔑 Notions clés & Définitions
Résultat potentiel : Résultat qu’un individu aurait sous un état donné du traitement, avec ou sans programme.
★ À maîtriser
📌 L’évaluation d’impact compare le groupe traité, composé des bénéficiaires du programme, au groupe de contrôle ou témoin, composé des non-bénéficiaires, afin de mesurer les différences de résultats pour chaque indicateur.
Pour chaque individu, un seul des deux résultats potentiels est observé et l’autre demeure contrefactuel.
Compléments
Le groupe des bénéficiaires est aussi appelé groupe cible ou groupe expérimental, tandis que le groupe des non-bénéficiaires est appelé groupe contrefactuel, groupe de contrôle ou groupe témoin.
📐 Formule - Le résultat observé s’écrit Yi=TiYi1+(1−Ti)Yi0, où Ti=1 indique que l’individu est traité et Ti=0 qu’il ne l’est pas.
💡 Astuce mémo
Traité : résultat avec programme ; contrôle : résultat sans programme.
📖 4. Effet causal et données manquantes
🔑 Notions clés & Définitions
Problème fondamental de l’inférence causale : Impossibilité d’observer simultanément, pour un même individu, ses résultats potentiels avec et sans traitement, ce qui rend l’effet causal individuel non directement identifiable.
★ À maîtriser
📐 Formule - L’effet de traitement individuel est défini par Δi=(Yi1∣Ti=1)−(Yi0∣Ti=0).
Compléments
Pour un individu, le résultat potentiel sous le traitement est observé s’il est traité, tandis que le résultat potentiel sans traitement reste inobservé et constitue le contrefactuel.
Le problème fondamental de l’inférence causale se présente comme un problème de données manquantes, car l’un des résultats potentiels de chaque individu n’est pas observé.
💡 Astuce mémo
Un résultat potentiel reste inobservé → l’effet causal individuel n’est pas directement identifié.
📖 5. Résultats potentiels et contrefactuels
★ À maîtriser
Chaque individu appartient soit au groupe traité (Tᵢ = 1), soit au groupe de contrôle (Tᵢ = 0), et l’on n’observe jamais simultanément ses deux résultats potentiels.
📐 Formule - Le résultat observé est Yi=Yi(1) si Ti=1 et Yi=Yi(0) si Ti=0.
Comme un seul résultat potentiel est observé par individu, l’effet causal individuel Yi(1)−Yi(0) et l’ATE véritable ne sont pas directement observables.
Compléments
Pour un individu traité, le contrefactuel est son résultat potentiel sans traitement, Yi(0) conditionnellement à Ti=1 ; pour un individu non traité, c’est son résultat potentiel avec traitement, Yi(1) conditionnellement à Ti=0.
ATE : L’ATE est l’effet moyen du traitement dans la population, soit la différence entre le résultat moyen potentiel si tous sont traités et celui si personne ne l’est.
ATT : L’ATT est l’effet moyen du traitement parmi les bénéficiaires, conditionnellement à leur statut traité.
ATU : L’ATU est l’effet moyen que le traitement aurait eu sur les non-bénéficiaires, conditionnellement à leur statut non traité.
📝 Points essentiels
📐 Formule - Sous l’indépendance des résultats potentiels et du traitement, (Yi(1),Yi(0))⊥Ti, l’ATE vérifie ΔATE=E[Yi(1)−Yi(0)]=E[Yi(1)]−E[Yi(0)].
L’ATE est pertinent lorsque tous les individus sont éligibles au traitement et est typiquement estimé dans un essai randomisé où chaque participant a la même probabilité d’être traité.
📐 Formule - L’ATT vérifie ΔATT=E[Yi(1)−Yi(0)∣Ti=1]=E[Yi(1)∣Ti=1]−E[Yi(0)∣Ti=1].
📐 Formule - Les effets moyens relatifs sont RATT=E[Yi(0)∣Ti=1]E[Yi(1)−Yi(0)∣Ti=1] pour les traités, RATU=E[Yi(0)∣Ti=0]E[Yi(1)−Yi(0)∣Ti=0] pour les non-traités et RATE=E[Yi(0)]E[Yi(1)−Yi(0)] pour la population.
Heckman (1997) souligne que l’ATE peut être peu pertinent pour les décideurs lorsqu’il inclut des personnes non ciblées par le programme ; l’ATT peut alors être plus informatif.
L’ATT mesure le gain moyen du programme pour ses participants et peut être comparé au coût du programme pour en évaluer l’efficacité.
📐 Formule - L’effet moyen du programme offert à la population cible vérifie ITT=ATT×taux de participation.
📌 Si tous les individus ciblés participent, le taux de participation vaut 100 % et l’ITT est égal à l’ATT.
Dans l’exemple attribué à Andrew Heiss (2014), les effets individuels du tableau donnent un ATE de 5, un ATT de 8,75 et un ATU de 1,25.
En général l’ITT est inférieur ou égal à l’ATT, car l’effet moyen sur la population cible est inférieur à celui observé chez les participants.
📖 7. Décomposition de l’effet moyen
📝 Points essentiels
📐 Formule - L’ATE est une moyenne pondérée de l’ATT et de l’ATU : ATE=Pr(T=1)×ATT+Pr(T=0)×ATU=p×ATT+(1−p)×ATU.
📐 Formule - Dans l’exemple, l’ATE vaut (84×8,75)+(84×1,25)=5.
Dans l’exemple, l’ATT de 8,75 est supérieur à l’ATE de 5, tandis que l’ATU des non-traités vaut 1,25 ; cette différence suggère que les groupes diffèrent dans leur effet attendu du traitement.
📖 8. Biais de sélection et identification
🔑 Notions clés & Définitions
Biais de sélection : La différence entre les résultats potentiels sans traitement des groupes traité et contrôle, due à leurs différences préexistantes.
SUTVA : L’hypothèse selon laquelle il n’y a pas d’interférence entre les unités : les résultats potentiels d’une unité sont indépendants de ce qui arrive aux autres unités.
★ À maîtriser
📐 Formule - La différence observée entre les résultats moyens des groupes traité et contrôle se décompose en Diffeˊrence observeˊe=ATT+SB+SE, où SB est le biais de sélection et SE l’erreur d’échantillonnage.
📐 Formule - La différence observée entre les groupes se décompose en Diffeˊrence observeˊe=ATE+(ATT−ATE)+SB, où ATT−ATE représente l’hétérogénéité des effets et SB le biais de sélection.
📌 Si les résultats potentiels sont statistiquement indépendants de l’assignation au traitement, alors ATT = ATE et le biais de sélection est nul.
Compléments
Lorsque l’échantillon est suffisamment grand pour que l’erreur d’échantillonnage soit proche de zéro, la différence observée s’écrit Diffeˊrence observeˊe=ATT+SB.
📌 La différence observée entre les groupes est une estimation sans biais de l’ATE si l’hétérogénéité des effets ATT−ATE et le biais de sélection SB sont tous deux nuls.
Si SB est positif, les individus traités auraient eu de meilleurs résultats que le groupe contrôle même sans traitement ; si SB est négatif, ils auraient eu de moins bons résultats.
💡 Astuce mémo
Effet du traitement : ce qui change avec le traitement ; biais de sélection : ce qui différenciait déjà les groupes.
📖 9. Solutions et validité de l’évaluation
🔑 Notions clés & Définitions
Validité interne : La capacité d’une évaluation à utiliser un groupe de comparaison qui fournit une estimation valide du contrefactuel.
Validité externe : La capacité à généraliser l’effet causal estimé à l’ensemble des individus éligibles.
★ À maîtriser
Les méthodes de correction du biais de sélection comprennent : l’assignation aléatoire (RCT), la sélection sur observables par régression, matching ou weighting, la sélection sur non-observables par différence-en-différences, variables instrumentales ou discontinuité
Compléments
Une évaluation rigoureuse attribue les changements observés à l’intervention en neutralisant les différences entre groupes au moyen de méthodes expérimentales ou quasi expérimentales appropriées.
📌 Pour assurer la validité externe, l’échantillon de l’évaluation doit être représentatif de l’ensemble des individus éligibles.
Le nombre d’observations requis pour l’évaluation est déterminé par des calculs de puissance et dépend du type de questions auxquelles l’évaluation doit répondre.
💡 Astuce mémo
Validité interne : contrefactuel crédible ; validité externe : généralisation aux personnes éligibles.
📖 10. Identification des groupes comparables
🔑 Notions clés & Définitions
Groupe de comparaison : Groupe similaire au groupe traité, mais non exposé à l’intervention, utilisé pour construire le contrefactuel.
★ À maîtriser
Les groupes de traitement et de comparaison doivent être similaires en l’absence du programme, condition qui peut être vérifiée par un test d’égalité des moyennes. - WR
Les groupes de traitement et de comparaison doivent réagir de façon similaire au programme.
Compléments
📌 Les groupes de traitement et de comparaison ne doivent pas être exposés différemment à d’autres interventions pendant la période d’évaluation.
📌 Lorsque les groupes sont similaires sans programme, réagissent de façon similaire au programme et ne sont pas exposés différemment à d’autres interventions, la différence de résultats peut être attribuée au programme et établit son effet causal.
Des différences entre les groupes autres que l’exposition au programme biaisent l’estimation en confondant l’effet du programme avec celui de facteurs externes.
📖 11. Méthodes d’identification du contrefactuel
🔑 Notions clés & Définitions
Méthodes expérimentales : Méthodes qui identifient les groupes traités et non traités par assignation aléatoire fondée sur un facteur exogène indépendant de l’intervention et permettent une évaluation d’impact non biaisée.
Méthodes quasi-expérimentales : Méthodes qui construisent des groupes comparables au moyen de techniques économétriques telles que la double différence, l’appariement et la régression discontinue.
Expériences naturelles : Situations où des assignations aléatoires se produisent naturellement, sans expérimentation, par exemple à la suite d’un événement climatique ou politique exogène.
★ À maîtriser
📌 Les méthodes d’identification du contrefactuel sont expérimentales ou non expérimentales.
Compléments
L’assignation aléatoire peut prendre la forme de : une loterie, un phasage aléatoire, une assignation aléatoire à divers traitements, une assignation aléatoire à une stratégie d’encouragement
💡 Astuce mémo
L’expérimental assigne au hasard ; le quasi-expérimental construit la comparaison par des techniques économétriques.
📖 12. Données complémentaires à l’impact
★ À maîtriser
L’évaluation d’impact utilise des méthodes quantitatives et nécessite des données fiables et suffisantes sur des indicateurs pertinents, avant et après l’intervention.
Compléments
Les évaluations d’impact ne sont pas conçues pour analyser l’efficience de la mise en œuvre et doivent être complétées par des données qualitatives et contextuelles pour interpréter correctement les résultats.
📌 L’évaluation d’impact et les autres outils d’évaluation sont complémentaires et non concurrents.
📖 13. Données qualitatives et évaluation
★ À maîtriser
Les données qualitatives, notamment les groupes focaux et les entretiens avec des bénéficiaires ou d’autres personnes informées, apportent des indications supplémentaires sur la performance d’un programme.
Compléments
Les données qualitatives sont utiles à trois phases de l’évaluation d’impact : la conception, le stade intermédiaire et l’analyse.
💡 Astuce mémo
Concevoir les hypothèses, suivre l’évolution, puis expliquer les résultats.
📖 14. Suivi et évaluation de processus
🔑 Notions clés & Définitions
Évaluation de processus : Évaluation qui examine l’exécution et le déroulement du programme et vérifie leur conformité aux prévisions initiales.
★ À maîtriser
Les données de suivi recensent les participants, documentent la chronologie du programme et l’utilisation des ressources, et vérifient si les activités sont mises en œuvre comme prévu.
Compléments
Les données de suivi aident à vérifier que les données de référence sont recueillies avant la mise en œuvre et que les groupes bénéficiaires et témoins sont construits selon le principe d’attribution.
Les données de suivi sont également nécessaires à l’analyse coût-bénéfice.
💡 Astuce mémo
Le suivi observe participants, ressources et activités ; l’évaluation de processus examine le déroulement prévu.
📊 Tableaux de synthèse
Décomposition de la différence observée
Composante
Signification
ATT
Effet moyen du traitement chez les traités
SB
Différence préexistante entre les groupes sans traitement
SE
Erreur d’échantillonnage
ATT − ATE
Hétérogénéité des effets du traitement
Méthodes d’identification du contrefactuel
Méthode
Principe
Usage ou exemple
Expérimentale
Assignation aléatoire des groupes
Loterie ou phasage aléatoire
Expérience naturelle
Assignation aléatoire survenant sans expérimentation
Événement climatique ou politique exogène
Quasi-expérimentale
Techniques économétriques pour construire des groupes comparables
Teste tes connaissances sur Introduction à l’évaluation d’impact avec 22 questions à choix multiples et corrections détaillées.
1. Concernant les catégories de questions posées par une évaluation :
2. Une équipe compare le bien-être observé après un programme à ce qui aurait eu lieu sans lui. Parmi les propositions suivantes concernant l’évaluation d’impact, lesquelles sont exactes ?