Fiche de révision : PISA mesurer comprendre agir

📋 Plan du Cours

1. Cadre et population de PISA
2. Institutions et transfert scientifique
3. Résultats français et incertitude
4. Distributions et inégalités scolaires
5. Construire et estimer un score
6. Comprendre la compréhension écrite
7. Associations, causalité et limites
8. Nouveaux domaines et innovations
9. Validation des nouveaux construits
10. Accessibilité des élèves avec TND
11. Plans d’étude et inférence causale
12. Médiation et interprétation des résultats
13. Bilan des enseignements de PISA

📅 Repères chronologiques

1. 10 janvier 2018Le CSEN a été installé par Jean-Michel Blanquer, qui en a confié la présidence à Stanislas Dehaene.
2. 15 mars 2021Un arrêté a créé formellement le CSEN.
3. 8 septembre 2026Le rapport de l'OCDE sur PISA 2025 conserve les scores, les erreurs types, les fourchettes de rangs, les moyennes à périmètre constant et les avertissements méthodologiques.

📖 1. Cadre et population de PISA

🔑 Notions clés & Définitions

• PISA : ou Programme international pour le suivi des acquis des élèves, est une enquête triennale pilotée par l’OCDE qui évalue les compétences d’élèves de 15 ans scolarisés.

★ À maîtriser

• PISA évalue chaque cycle les trois domaines de l’écrit, des mathématiques et des sciences, mais l’un d’eux est majeur et reçoit davantage d’items et d’analyses.

📌 La moyenne d’un pays dans PISA dépend de la population couverte, de l’échantillonnage, du mode de passation, des exclusions, du modèle statistique et de l’incertitude de mesure.

Compléments

• Le premier cycle de PISA a eu lieu en 2000, la France participe depuis l’origine et le cycle prévu en 2021 a été reporté à 2022 en raison de la pandémie de Covid-19.

• En 2025, PISA a concerné plus de 760 000 élèves dans 91 pays ou économies selon l’OCDE, dont 6 501 élèves de 289 établissements en France selon l’OCDE.

💡 Astuce mémo

Mesurer : construit → population → instrument → analyse → interprétation

📖 2. Institutions et transfert scientifique

★ À maîtriser

• Les fonctions institutionnelles sont réparties ainsi:
  • la DEPP mesure
  • le CSEN et le Cnesco conseillent
  • le Conseil d’évaluation de l’École évalue
  • le ministre et la DGESCO décident

📌 Pour qu’une recherche influence une politique éducative, elle doit fournir des preuves adaptées au problème, disposer de canaux de transmission et préserver une indépendance scientifique.

• Les quatre opérations du CSEN sont:
  • synthétiser la littérature
  • soutenir des expérimentations
  • outiller les professionnels
  • diffuser et former

Compléments

• L’essai randomisé contrôlé du programme « Pionniers des maths » doit être mené à partir de septembre 2026 dans 543 classes.

💡 Astuce mémo

DEPP mesure, CSEN conseille, CEE évalue, ministre décide

📖 3. Résultats français et incertitude

★ À maîtriser

• En 2025, la France obtient 456 points en compréhension de l’écrit, 458 en mathématiques et 483 en sciences, contre respectivement 461, 463 et 482 pour la moyenne des 38 pays de l’OCDE.

📌 Les écarts entre la France et la moyenne de l’OCDE ne sont pas significatifs dans les trois domaines, car l’intervalle de confiance français inclut la moyenne de l’OCDE.

📌 L’OCDE publie des fourchettes de rangs et aucun classement « toutes matières », de sorte qu’un rang ponctuel calculé sur des scores arrondis ignore l’incertitude.

• Entre 2022 et 2025, la France a perdu 18 points en écrit et 16 points en mathématiques, des baisses jugées significatives par la DEPP.

Compléments

📐 Formule — Un intervalle de confiance à 95 % est calculé comme le score plus ou moins $1{,}96 \times \text{erreur type}$.

💡 Astuce mémo

Un rang ponctuel ≠ une fourchette statistique

📖 4. Distributions et inégalités scolaires

🔑 Notions clés & Définitions

• Niveau 2 : PISA 2022 Results, Vol. I, 2023 — le seuil de compétence de base de l’OCDE, fixé à 407 points en écrit et à 420 points en mathématiques.
• Indice SESC : combine le niveau d’éducation et la profession des parents ainsi que les ressources du foyer, ces informations étant déclarées par l’élève.

★ À maîtriser

• Entre 2018 et 2025, la proportion d’élèves français sous le niveau 2 passe de 20,9 % à 32,7 % en écrit, de 21,3 % à 35,7 % en mathématiques et de 20,5 % à 25,8 % en sciences.

• En France, l’écart entre le quart socio-économique le plus favorisé et le quart le plus défavorisé atteint 91 points en écrit, 95 points en mathématiques et 100 points en sciences.

Compléments

• En sciences en 2025, le statut socio-économique est associé à 13,5 % de la variance des scores en France contre 11,6 % dans l’OCDE, et la résilience académique concerne 11,0 % des élèves défavorisés en France contre 11,9 % dans l’OCDE.

💡 Astuce mémo

Composition de l’échantillon → moyenne nationale

📖 5. Construire et estimer un score

🔑 Notions clés & Définitions

• Compétence latente : une variable qui ne s’observe pas directement et qui est inférée à partir de comportements observables, comme les réponses aux items.

★ À maîtriser

• PISA ne calcule pas de score individuel, car chaque élève ne passe qu’une partie des items ; il tire dix valeurs plausibles par élève et par domaine pour estimer des statistiques de population.

📌 La comparaison de deux cycles ajoute une erreur de liaison aux erreurs d’échantillonnage et de mesure, car les échelles des cycles doivent être mises en correspondance.

Compléments

• Depuis 2015, PISA utilise notamment un modèle logistique à deux paramètres, comprenant la difficulté et la discrimination de l’item, ainsi qu’un modèle généralisé à crédit partiel.

📐 Formule — Au seuil de 5 %, une différence entre deux cycles est significative si elle excède environ $1{,}96 \times \sqrt{ET_1^2+ET_2^2+\text{erreur de liaison}^2}$.

💡 Astuce mémo

Réponses → modèle d’items → valeurs plausibles → statistiques

📖 6. Comprendre la compréhension écrite

★ À maîtriser

• 🔄 Le modèle décrit deux phases (Kintsch, 1988): la construction active des propositions et associations, l’intégration renforce les éléments cohérents, l’intégration élimine les éléments non pertinents

📌 La base de texte correspond à ce que le texte dit explicitement, tandis que le modèle de situation intègre les connaissances antérieures et permet les inférences.

• Les trois processus sont (PISA, 2018):

  • localiser l’information
  • comprendre
  • évaluer et réfléchir

• Selon la Simple View of Reading, la compréhension écrite résulte du produit du décodage et de la compréhension orale. — Gough & Tunmer, 1986

Compléments

• Dans l’unité « Rapa Nui », l’item de localisation Q08 vaut 634 points, alors que l’item de sens littéral Q05 vaut 513 points, ce qui montre que la difficulté ne suit pas mécaniquement la hiérarchie des processus. — OCDE, 2019

💡 Astuce mémo

Le lecteur construit un texte puis l’intègre en modèle de situation

📖 7. Associations, causalité et limites

★ À maîtriser

📌 Une association transversale entre deux variables ne constitue pas un effet causal, car elle peut provenir de variables confondantes, d’une causalité inverse ou de biais de déclaration.

• Les apports robustes de PISA sont: les tendances longues à périmètre constant, les distributions, la description des inégalités sociales et de genre, l’ouverture des données

Compléments

• En France, les élèves déclarant une mentalité de croissance devancent de 31 points en sciences ceux déclarant une mentalité fixe, après prise en compte du profil socio-économique. — OCDE, 2026

• La méta-analyse de Macnamara et Burgoyne estime l’effet des interventions sur la mentalité de croissance à d = 0,05 [0,02 ; 0,09], puis à d = 0,02 [−0,06 ; 0,10] dans les études de meilleure qualité.

• En 2025, les élèves français déclarent 4,9 heures d’écran par jour, dont 3 heures de loisirs, 37 % utilisent chaque semaine des chatbots d’IA pour apprendre et 49 % déclarent un soutien familial. — OCDE, note pays France, 2026

• Les domaines innovants apparaissent en: la résolution collaborative des problèmes en 2015, la compétence globale en 2018, la pensée créative en 2022, apprendre dans le monde numérique en 2025

💡 Astuce mémo

Association transversale ≠ effet causal expérimental

📖 8. Nouveaux domaines et innovations

🔑 Notions clés & Définitions

• Résolution collaborative de problèmes : OCDE, PISA 2015 Results, Vol. I, 2016 — Capacité des élèves à travailler à deux ou plus pour tenter de résoudre des problèmes collectivement
• Compétence globale : OCDE, PISA 2018 Results, Vol. I, 2019 — Capacité à comprendre et apprécier les perspectives et les visions du monde d'autrui
• Pensée créative : OCDE, PISA 2022 Results, Vol. I, 2023 — Aptitude à s'engager de manière productive dans la génération, l'évaluation et l'amélioration d'idées pouvant produire des solutions originales et efficaces, des avancées dans les connaissances ou des expressions marquantes de l'imagination
• Apprendre dans le monde numérique : OCDE, PISA 2025 Results, Vol. I, 2026 — Processus itératif et autorégulé de construction de connaissances et de résolution de problèmes à l'aide d'outils et de pratiques computationnels

📝 Points essentiels

• Le test adaptatif multi-étapes a été utilisé en écrit en 2018, en mathématiques en 2022 et dans trois domaines en 2025.

• Les items de fluence de lecture évaluent l'aisance et l'efficacité avec lesquelles une personne peut lire et comprendre un texte, notamment par des phrases simples à juger, avec 65 items en 2018 et en 2022. — OCDE, PISA 2018 Results, Vol. I, 2019

💡 Astuce mémo

2015 collaborative → 2018 globale → 2022 créative → 2025 numérique

📖 9. Validation des nouveaux construits

🔑 Notions clés & Définitions

• Validité convergente : La validité convergente exige qu'une mesure soit corrélée aux mesures de construits théoriquement proches.
• Validité discriminante : La validité discriminante exige qu'une mesure ne soit pas redondante avec des construits théoriquement distincts.

★ À maîtriser

• Les corrélations entre domaines atteignent 0,88 entre sciences et mathématiques, 0,87 entre sciences et écrit et 0,80 entre mathématiques et écrit. — OCDE, PISA 2025 Results, Vol. I, 2026

• La résolution computationnelle de problèmes est corrélée à 0,76 avec les sciences, 0,75 avec les mathématiques et 0,69 avec l'écrit. — OCDE, PISA 2025 Results, Vol. I, 2026

Compléments

• Selon l'OCDE, environ 43 % de la variation en résolution computationnelle est spécifiquement associée à la performance en sciences et plus de la moitié de la variation restante demeure indépendante. — PISA 2025 Results, Vol. I, 2026

💡 Astuce mémo

Convergente : proche des autres ; discriminante : non redondante

📖 10. Accessibilité des élèves avec TND

★ À maîtriser

📌 Chez un élève dyslexique, un score faible à une épreuve de compréhension en temps limité peut refléter le décodage et la vitesse de lecture plutôt que la compréhension, ce qui ajoute une variance non pertinente au construit visé.

📌 Les élèves avec dyslexie, TDAH ou TSA passent le test standard de PISA, sauf classement en « autres motifs » ou recours à un formulaire allégé.

Compléments

• Les exclusions pour handicap intellectuel ou fonctionnel sont possibles dans la limite de 5 % des exclusions totales, et jamais en raison de faibles compétences.

• En 2022, 16 pays dépassaient 5 % d'exclusions, dont le Danemark avec 11,6 %, tandis que la France ne dépassait pas ce seuil. — OCDE, PISA 2022 Results, 2023

• PISA mesure mal ou ne mesure pas:

  • le décodage de mots et de pseudo-mots
  • la fluence orale
  • le vocabulaire en profondeur
  • la compréhension orale
  • les fonctions exécutives
  • la mémoire de travail
  • les diagnostics de TND

💡 Astuce mémo

Décodage limité → score de compréhension partiellement biaisé

📖 11. Plans d’étude et inférence causale

★ À maîtriser

📌 Une enquête transversale comme PISA décrit et compare des populations et génère des hypothèses, mais elle ne permet pas d'attribuer une évolution nationale à une réforme faute de contrefactuel et de suivi des mêmes élèves.

• L'évaluation du dédoublement des classes de CP en REP+ a mesuré un gain de 8 % d'écart-type en français et de 13 % en mathématiques en fin de CP. — Andreu et al., 2021

• En 2025, 27 % des élèves français étaient scolarisés dans un établissement qui interdit le téléphone, contre 49 % dans l'OCDE, mais cette différence descriptive ne prouve pas un effet sur les apprentissages.

Compléments

📌 Les études longitudinales établissent des précédences temporelles et identifient des prédicteurs, sans fournir nécessairement une identification expérimentale de l'effet causal.

• L'essai randomisé par grappes « Pionniers des maths » a été engagé en septembre 2026 dans 543 classes.

💡 Astuce mémo

Transversal → longitudinal → quasi-expérimental → randomisé → méta-analyse

📖 12. Médiation et interprétation des résultats

★ À maîtriser

• Les Notes d'Information de la DEPP synthétisent les résultats nationaux en s'appuyant sur des tests de significativité, ce qui fonde la formule « dans la moyenne de l'OCDE ».

• Les biais de médiation comprennent: la perte de l'incertitude, le cadrage par le rang, l'attribution causale à partir de données transversales, la sur-généralisation, les erreurs factuelles comme « PISA 2026 »

• L'analyse d'un article vérifie successivement: le chiffre cité et sa source, la nature de l'indicateur, la mention ou non de la significativité, la cause éventuellement suggérée et son fondement

Compléments

• La communication ministérielle du 8 septembre 2026 est intitulée « Pisa 2025 : une baisse des résultats commune à l'OCDE, un relèvement à poursuivre » et adopte un cadrage fondé sur une baisse partagée et un appel à l'action.

💡 Astuce mémo

OCDE → DEPP → ministère → presse

📖 13. Bilan des enseignements de PISA

📝 Points essentiels

• PISA mesure des littératies à 15 ans et décrit des populations plutôt que des individus.

📌 Un score est une estimation et aucune conclusion n'est permise sans intervalle de confiance ni erreur de liaison entre les cycles.

• En 2025, la France se situe dans la moyenne de l'OCDE, mais ses résultats sont en nette baisse depuis 2018 en écrit et en mathématiques.

• Le statut socio-économique est plus fortement associé aux scores en France que dans l'OCDE.

📌 Tout nouveau construit exige une validation convergente et discriminante ainsi qu'une réflexion sur son accessibilité.

📌 PISA suggère des hypothèses, mais seuls des plans longitudinaux et expérimentaux permettent de tester solidement les évolutions et les effets causaux.

📊 Tableaux de synthèse

Fonctions des institutions éducatives

Plans d’étude et inférence