Fiche de révision : Introduction à la Psychométrie et aux Mesures

📋 Plan du Cours

1. Mesures en sciences exactes et humaines
2. Interprétation des scores par percentiles
3. Signification des échelles et items inversés
4. Vérifier la qualité de la mesure
5. Distributions théoriques et loi normale
6. Problématique de la mesure en psychométrie
7. Psychométrie et analyse statistique
8. Rédaction d’items et construction d’un test
9. Assemblage et collecte dans la conception
10. Théorie classique du score vrai et fidélité
11. Méthodes de fidélité : KR20, KR21 et alpha
12. Modèles de réponse à l’item et modèle de Rasch

📖 1. Mesures en sciences exactes et humaines

🔑 Notions clés & Définitions

• Mesure conventionnelle : Une mesure conventionnelle est une mesure physique réalisée avec des outils et une unité standard, permettant une quantification directe.
• Observations multiples : Les observations multiples sont des données recueillies à travers plusieurs questions ou épreuves pour estimer une variable psychologique.
• Jugement évaluatif : Le jugement évaluatif désigne l’évaluation portée par le chercheur à partir des réponses, ce qui introduit davantage de subjectivité.
• Variable latente : Une variable latente est un trait non directement observable, comme l’intelligence, qu’on cherche à estimer via des réponses.
• Courbe de Gauss : La courbe de Gauss est une distribution normale utilisée pour décrire la répartition des scores d’un test.

📝 Points essentiels

• En sciences exactes, une mesure conventionnelle suffit souvent et laisse peu de place à l’interprétation subjective.
• En sciences humaines et psychologiques, il n’existe pas d’outil unique de mesure : on utilise des épreuves et un grand nombre d’items dont les résultats varient selon chercheur, sujet et contexte.
• Le test WAIS 4 organise le QI en plusieurs sous-épreuves : compréhension verbale, raisonnement perceptif, mémoire de travail et vitesse de traitement.
• Le QI suit une distribution normale avec moyenne 100 et écart-type 15, mais cela ne signifie pas que l’intelligence réelle suit forcément la même distribution.
• La distribution normale observée dépend aussi de la façon dont le test est construit, pas uniquement de la variable mesurée.
• Les scores d’échelles peuvent être interprétés via des repères normatifs comme le centile, qui indique la proportion de la population au-dessous et au-dessus du score.

💡 Astuce mémo

Exactes = 1 mesure + unité; Humaines = plusieurs épreuves + contexte (plus de subjectivité).

📖 2. Interprétation des scores par percentiles

🔑 Notions clés & Définitions

• Percentile 25 : Le percentile 25 est la valeur en dessous de laquelle se trouvent 25% des individus et au-dessus de laquelle se trouvent 75% des individus.
• Percentile 50 : Le percentile 50 est la valeur qui correspond à la médiane, avec 50% des individus en dessous et 50% au-dessus.
• Percentile 75 : Le percentile 75 est la valeur en dessous de laquelle se trouvent 75% des individus et au-dessus de laquelle se trouvent 25% des individus.
• Écart interquartile : L’écart interquartile est la distance entre le premier quartile (percentile 25) et le troisième quartile (percentile 75).
• Écart semi-interquartile : L’écart semi-interquartile est la moitié de l’écart interquartile, donc la moitié de la différence entre le 1er et le 3e quartile.

📝 Points essentiels

• Un percentile indique la proportion d’individus situés en dessous d’une valeur donnée.
• Le 1er quartile correspond au percentile 25 et sépare 25% des individus des 75% restants.
• La médiane correspond au 50e percentile et partage la population en deux parts égales.
• Le 3e quartile correspond au percentile 75 et sépare 75% des individus des 25% restants.
• L’écart interquartile mesure la dispersion centrale entre les percentiles 25 et 75.
• L’écart semi-interquartile est égal à l’écart interquartile divisé par 2.

💡 Astuce mémo

25-50-75 : 1 quart, 2e quart (médiane), 3e quart (centre de la dispersion).

📖 3. Signification des échelles et items inversés

🔑 Notions clés & Définitions

• Score Z : Un score Z est une standardisation qui exprime la position d’une valeur par rapport à la moyenne, en unités d’écart-type.
• Échelle de mesure : Une échelle de mesure est un support qui transforme des observations en valeurs numériques interprétables pour comparer individus ou performances.
• Item inversé : Un item inversé est une question formulée de façon opposée, dont le score doit être recodé pour refléter le même sens que les autres items.
• Tests normatifs : Un test normatif classe les individus en mettant l’accent sur les différences interindividuelles stables via une comparaison à une référence.
• Tests critériés : Un test critérié évalue des différences intra-individuelles et l’atteinte d’un niveau attendu, avec une interprétation centrée sur l’apprentissage.

📝 Points essentiels

• Un score Z se calcule en rapportant la valeur observée à la moyenne, puis en divisant par l’écart-type pour obtenir une mesure standardisée.
• Quand on augmente les degrés de liberté, les distributions théoriques tendent vers une distribution normale.
• En psychométrie, les échelles servent à relier des variables manifestes (réponses observées) à des variables latentes (constructs non observables).
• Dans un test normatif, les items trop faciles ou trop difficiles apportent peu d’information pour discriminer les individus.
• Dans un test critérié, des items très faciles ou très difficiles peuvent rester informatifs car l’objectif est l’évaluation par rapport à un critère d’apprentissage.
• Les items inversés doivent être recodés pour que tous les items contribuent au même sens de la mesure (sinon le score global peut être interprété à l’envers).

💡 Astuce mémo

Z = Position relative : (valeur − moyenne) / écart-type ; inversé = sens opposé à recoder avant d’additionner.

📖 4. Vérifier la qualité de la mesure

🔑 Notions clés & Définitions

• Sujets : Les sujets sont les individus sur lesquels on applique l’instrument de mesure pour obtenir des réponses observables.
• Items : Les items sont les questions ou stimuli proposés aux sujets, dont les réponses constituent les données de mesure.
• Standardisation des conditions d’administration : La standardisation impose des conditions identiques pour tous les sujets afin de limiter les différences dues à l’administration plutôt qu’au construit.
• Biais du codeur : Le biais du codeur désigne les erreurs systématiques possibles quand la correction dépend du jugement humain, surtout pour les réponses longues.
• Note Z : La note Z est une variable standardisée obtenue en centrant sur la moyenne et en réduisant par l’écart-type.

📝 Points essentiels

• La qualité de la mesure dépend de l’égalité des conditions d’administration pour tous les sujets afin de réduire les interactions liées au test.
• Les observations doivent être transformées en données pour qu’un modèle de mesure puisse être appliqué.
• Pour les QCM, une réponse incorrecte vaut 0 et une réponse correcte vaut 1.
• Pour les questions ouvertes à réponse courte, une réponse incorrecte vaut 0 et une réponse correcte vaut 1.
• Pour les réponses longues, la correction se fait via une grille avec niveaux (incorrect, partiellement correct, correct) afin de limiter l’interprétation de l’expérimentateur.
• La correction des réponses longues expose à la subjectivité du codeur, notamment via l’effet de halo, l’effet d’ordre/de séquence et l’effet de stéréotypie/d’inertie.

💡 Astuce mémo

Standardisation = mêmes conditions ; Codage = même barème ; Subjectivité = halo + ordre + stéréotypes.

📖 5. Distributions théoriques et loi normale

🔑 Notions clés & Définitions

• Loi normale : La loi normale est une distribution théorique continue symétrique, caractérisée par une moyenne et un écart-type, utilisée pour modéliser des variables quantitatives.
• Distribution théorique : Une distribution théorique est un modèle mathématique qui décrit la façon dont une variable aléatoire prend ses valeurs, sans dépendre d’un échantillon particulier.
• Symétrie autour de la moyenne : La symétrie autour de la moyenne signifie que la probabilité est identique à une distance donnée de la moyenne, de part et d’autre.
• Écart-type : L’écart-type mesure la dispersion autour de la moyenne : plus il est grand, plus la distribution est étalée.

📝 Points essentiels

• La loi normale est entièrement déterminée par deux paramètres : la moyenne et l’écart-type.
• La symétrie de la loi normale implique que les probabilités à gauche et à droite de la moyenne se correspondent à distance égale.
• L’écart-type contrôle la largeur de la courbe : une petite valeur concentre les valeurs près de la moyenne, une grande valeur les disperse.
• Les distributions théoriques servent de référence pour calculer des probabilités et comparer des observations à un modèle attendu.
• Dans les exercices, on standardise souvent une variable normale en utilisant la moyenne et l’écart-type pour ramener le problème à une forme de référence.

💡 Astuce mémo

Moyenne = centre, écart-type = largeur : normal = cloche symétrique.

📖 6. Problématique de la mesure en psychométrie

🔑 Notions clés & Définitions

• Biais de désirabilité sociale : Le biais de désirabilité sociale est une distorsion des réponses quand le répondant choisit ce qui paraît socialement acceptable plutôt que ce qu’il pense ou fait réellement.
• Tendance à l’acquiescement : La tendance à l’acquiescement est une distorsion des réponses où le répondant a tendance à dire oui à un item indépendamment de son contenu.
• Effet de fatigue : L’effet de fatigue est une baisse de performance au fil du test due à la fatigue et/ou à la diminution de l’attention pendant la passation.
• Balanced Incomplete Bloc Design : Le Balanced Incomplete Bloc Design (BIB) est un plan où chaque livret ne contient qu’une partie des blocs, tout en équilibrant la position des blocs pour limiter les biais liés à l’ordre.
• Partial Balanced Incomplete Bloc Design : Le Partial Balanced Incomplete Bloc Design est un plan incomplet où toutes les paires ne sont pas représentées, mais où l’on peut calculer des scores par sous-dimension.

📝 Points essentiels

• Les questions irritantes, trop intrusives, ou mal formulées (ambiguës, négatives, doubles négations) augmentent le risque de réponses non fiables.
• Les consignes doivent éviter les termes de fréquence vagues comme « régulièrement », « parfois » ou « souvent » pour réduire l’ambiguïté.
• Trop de questions ouvertes et des doubles questions peuvent dégrader la qualité des réponses en augmentant la variabilité et la difficulté de traitement.
• Le questionnaire doit commencer par des questions anodines et simples pour encourager la participation, puis placer les questions sensibles plus tard.
• Un ordre de passation conseillé est : informations factuelles, questions fermées, puis questions ouvertes et personnalisées.
• Les consignes doivent être claires, avec exemples, anonymat annoncé, répétition si besoin, et numérotation des questions/items pour limiter les erreurs de compréhension.

💡 Astuce mémo

Fatigue + ambiguïté = faux score : « ordre clair, questions simples, puis sensibles ».

📖 7. Psychométrie et analyse statistique

🔑 Notions clés & Définitions

• Test psychométrique : Un test psychométrique est une situation standardisée qui sert de stimulus à un comportement évalué par comparaison à une population de référence.
• Conditions d’administration : Les conditions d’administration sont les règles de passation qui doivent être décrites et respectées pour préserver la validité des normes d’un test.
• Score observé Xt : Le score observé $X_t$ est la somme des scores aux items d’un test, correspondant au nombre de réponses correctes pour un sujet.
• Score vrai X∞ : Le score vrai $X_\infty$ est la valeur théorique obtenue dans des conditions idéales avec un instrument parfait, assimilée à la moyenne du score observé sur de nombreuses administrations.
• Erreur de mesure Xe : L’erreur de mesure $X_e$ est la composante aléatoire qui perturbe la mesure et rend le score observé différent du score vrai.

📝 Points essentiels

• Un test normatif n’a de sens que par rapport à la population de référence et ses normes, donc toute modification des conditions de passation peut invalider l’interprétation.
• L’administrateur doit s’assurer que les consignes sont comprises, distribuer le matériel, respecter les limites de temps et recueillir les réponses pour maintenir la validité des normes.
• Dans la théorie classique du score vrai, le score observé $X_t$ est la somme des scores aux items du test.
• La moyenne des scores observés correspond à la somme des moyennes d’items, et la variance des scores observés dépend de la variance des items et des corrélations inter-items.
• La variance d’un item dichotomique est maximale quand le taux de réussite vaut $p_i=0{,}50$ (donc $p_i q_i$ avec $q_i=1-p_i$).
• La variance observée d’un test est maximale si chaque item a une variance maximale et si toutes les corrélations inter-items valent 1, ce qui revient à mesurer exactement la même chose.

💡 Astuce mémo

Variance max = items à 50% + corrélations à 1 (même signal, même rythme).

📖 8. Rédaction d’items et construction d’un test

🔑 Notions clés & Définitions

• Fidélité d’un test : La fidélité d’un test mesure la part de variance due au score vrai plutôt qu’à l’erreur de mesure.
• Erreur standard de mesure : L’erreur standard de mesure est l’écart-type des scores d’erreurs, représentant l’incertitude de l’estimation du trait latent.
• Formule de Spearman-Brown : La formule de Spearman-Brown estime l’effet d’un allongement du test sur sa fidélité en supposant des items comparables.
• Alpha de Cronbach : L’alpha de Cronbach est un coefficient de fidélité basé sur les corrélations entre sous-tests, adapté aux items non dichotomiques.
• Indice de difficulté : L’indice de difficulté d’un item est la probabilité moyenne de réussite des individus à cet item.

📝 Points essentiels

• Plus un test est fidèle, plus les scores d’un même individu restent corrélés entre administrations successives.
• La fidélité peut être reliée au carré de la corrélation entre score vrai et score observé.
• L’erreur standard de mesure (EMS) permet de construire un intervalle de confiance autour d’une estimation individuelle car l’erreur suit une forme normale.
• La fidélité augmente avec la longueur du test : si on multiplie la longueur par n, on peut estimer la nouvelle fidélité via Spearman-Brown.
• Spearman-Brown suppose l’homogénéité : même compétence mesurée et nouveaux items comparables aux items existants.
• Dans Spearman-Brown, n désigne le coefficient d’allongement (par combien on multiplie le test), pas le nombre de sujets.

💡 Astuce mémo

Fidélité = Vrai / (Vrai + Erreur) : plus c’est stable, plus la corrélation tient.

📖 9. Assemblage et collecte dans la conception

🔑 Notions clés & Définitions

• QCM à pénalité : Méthode de correction d’un QCM où une réponse incorrecte réduit le score pour compenser le hasard.
• Degrés de certitude : Principe de correction qui attribue des crédits variables aux réponses selon la confiance déclarée par le sujet.
• Nombre de distracteurs : Quantité de propositions fausses dans un QCM, notée $k$, qui détermine la probabilité de réussite au hasard.
• Indice de discrimination : Mesure de la capacité d’un item à différencier les sujets qui réussissent l’item de ceux qui l’échouent.
• Fonctionnement différentiel d’item : Phénomène où, à compétence équivalente, des groupes différents ont des probabilités de réussite différentes à un même item.

📝 Points essentiels

• Si toutes les mauvaises réponses proviennent du hasard, alors la probabilité de bonne réponse par question vaut $1/k$ et le nombre attendu de bonnes vaut $n\times 1/k$.
• Avec $x$ le nombre de réponses incorrectes et $n$ le nombre de questions répondue au hasard, on peut écrire $x=n-(n\times 1/k)$ pour relier erreurs et hasard.
• Pour que le score reflète uniquement les bonnes réponses non dues au hasard, on applique une pénalité de $-1/(k-1)$ par réponse incorrecte.
• La pénalisation par réponse incorrecte suppose que chaque mauvaise réponse est due au hasard et que la chance varie peu entre sujets, sinon la correction peut être trop laxiste ou trop sévère.
• La correction par degrés de certitude crédite ou pénalise plus ou moins selon la confiance déclarée, ce qui vise à réduire l’effet du hasard quand la confiance est informative.
• L’indice de discrimination vérifie si l’item mesure le même trait que le test via une corrélation de Pearson entre l’item et le score total, et elle doit être positive si l’item est cohérent avec le trait mesuré global.

💡 Astuce mémo

Hasard → $1/k$ ; erreur → pénalité $-1/(k-1)$ (pour neutraliser le tirage au sort).

📖 10. Théorie classique du score vrai et fidélité

🔑 Notions clés & Définitions

• Modèle logistique Rasch : Modèle de réponse à l’item où la probabilité de réussite dépend de la différence entre l’aptitude de l’individu et la difficulté de l’item.
• Logit : Transformation logarithmique de la probabilité $p$ qui mesure la position sur l’échelle logistique.
• Symétrie de l’échelle : Propriété du modèle logistique où des écarts opposés aptitude–difficulté produisent des probabilités de réussite complémentaires.
• Calibration : Procédure qui relie les pourcentages de réussite observés aux paramètres du modèle via une conversion en logit.
• Indépendance locale : Hypothèse selon laquelle la réussite d’un item n’informe pas directement la réussite d’un autre item une fois les paramètres du modèle fixés.

📝 Points essentiels

• Quand l’aptitude et la difficulté sont égales, le modèle donne une probabilité de réussite $p=0,5$ (donc $1-p=0,5$).
• Si l’aptitude est inférieure de 1 logit à la difficulté, la probabilité de réussite vaut $0,27$, soit $0,23$ de moins que $0,5$.
• Si l’aptitude est supérieure de 1 logit à la difficulté, la probabilité de réussite vaut $0,73$, soit $0,23$ de plus que $0,5$.
• Un écart de 2 logits dans un sens ou dans l’autre modifie la probabilité de réussite de $0,38$ par rapport au cas d’égalité (valeur symétrique).
• Interprétation calibration : avec 100 élèves d’aptitude 0 sur un item de difficulté 0, le modèle prévoit 50 réussites et 50 échecs.
• Interprétation calibration : avec 1 élève d’aptitude 0 répondant à 100 items de difficulté 0, le modèle prévoit aussi 50 réussites et 50 échecs (même probabilité).

💡 Astuce mémo

Écart en logits : 0 → 0,5 ; -1 → 0,27 ; +1 → 0,73 ; symétrie autour de 0,5.

📖 11. Méthodes de fidélité : KR20, KR21 et alpha

🔑 Notions clés & Définitions

• KR20 : Indice de fidélité basé sur la théorie classique, adapté aux items dichotomiques, qui utilise la variance des scores et la proportion de bonnes réponses par item.
• KR21 : Indice de fidélité dérivé de KR20, utilisant une approximation de la variance des items pour estimer la fidélité quand les proportions d’items sont proches.
• Alpha de Cronbach : Indice de fidélité fondé sur la cohérence interne, calculé à partir des variances et covariances des items, souvent utilisé pour des items à plusieurs niveaux.
• Fidélité par cohérence interne : Approche de fidélité qui évalue dans quelle mesure les items mesurent la même dimension en s’appuyant sur leurs relations statistiques.

📝 Points essentiels

• Le texte fourni ne donne pas les formules ni les conditions d’application précises de KR20, KR21 et de l’alpha de Cronbach, donc aucun calcul exact ne peut être extrait ici.
• KR20 et KR21 sont des indices de fidélité conçus pour des items dichotomiques, alors que l’alpha de Cronbach est généralement mobilisé pour des ensembles d’items dont les réponses peuvent varier en plusieurs niveaux.
• KR21 correspond à une version simplifiée/approchée de KR20, ce qui implique une perte de précision si les items ont des proportions de réussite très différentes.
• La fidélité par cohérence interne repose sur l’idée que des items liés à un même trait doivent présenter des covariances/variances compatibles avec une mesure unidimensionnelle.
• Dans le cadre de la théorie classique, la fidélité est liée à la part de variance d’erreur dans la variance observée, ce qui influence directement la stabilité des scores.

💡 Astuce mémo

KR20 = items binaires exacts ; KR21 = KR20 simplifié ; Alpha = cohérence interne (souvent multi-niveaux).

📖 12. Modèles de réponse à l’item et modèle de Rasch

🔑 Notions clés & Définitions

• Erreur de mesure : Une erreur de mesure est l’écart entre la valeur observée et la valeur latente réelle, qui dégrade les relations statistiques entre variables.
• Corrélation observée : La corrélation observée est la corrélation calculée à partir des scores mesurés, qui est réduite par les erreurs de mesure.
• Validité prédictive : La validité prédictive est la capacité d’un test à prédire un critère externe mesuré ultérieurement.
• Mesure-critère : La mesure-critère est l’opération concrète utilisée pour quantifier un critère conceptuel.
• Validité convergente : La validité convergente vérifie que des mesures du même construit convergent malgré des variations de sujets, d’items ou de méthode.

📝 Points essentiels

• Les erreurs de mesure s’additionnent et entraînent une sous-estimation de la corrélation entre variables latentes.
• Si $E_1$ et $E_2$ sont les erreurs sur $X$ et $Y$, le numérateur de la corrélation reste inchangé tandis que le dénominateur augmente, ce qui diminue le rapport donc la corrélation.
• Plus les variances d’erreur sont grandes, plus la corrélation observée est faible, donc plus on sous-estime la corrélation réelle entre test et critère externe.
• La corrélation entre variables latentes se déduit de la corrélation observée en la divisant par la racine carrée du produit des fidélités de $X$ et de $Y$.
• On en conclut que la validité (corrélation corrigée) est toujours égale ou inférieure à la fidélité, donc jamais supérieure à la fidélité.
• La validité prédictive évalue si les scores au test $X$ permettent de prédire le rendement au critère externe $Y$.

💡 Astuce mémo

Erreur → dénominateur ↑ → corrélation ↓ (validité corrigée ≤ fidélité).

📊 Tableaux de synthèse

Tests normatifs vs tests critériés (Carver)

⚠️ Pièges & confusions fréquents

1. Confondre distribution normale du QI (moyenne 100, écart-type 15) et distribution de l’intelligence réelle : la forme dépend de la conception du test.
2. Interpréter un percentile comme une valeur “en dessous de laquelle on est” sans rappeler qu’il exprime une proportion (ex : percentile 40 implique 60% au-dessus).
3. Oublier de recoder les items inversés : additionner des scores “à l’envers” peut inverser le sens du score global.
4. Croire que corrélation observée et validité corrigée sont identiques : les erreurs de mesure augmentent le dénominateur et diminuent la corrélation observée.
5. Penser que variance normale observée prouve la normalité du trait latent : la distribution observée dépend aussi de la difficulté des items et des corrélations inter-items.
6. Confondre fidélité et validité : la validité (prédire un critère externe) ne peut pas dépasser la fidélité car les erreurs réduisent la corrélation.
7. Confondre “items non atteints” avec des réponses manquantes neutres : dans le score, une omission a le même statut qu’une réponse fausse (et peut biaiser la difficulté si mal géré).

✅ Checklist Examen

1. Distinguer mesure conventionnelle (sciences exactes) et observations multiples/jugement évaluatif (sciences humaines), et expliquer pourquoi le contexte et le chercheur font varier les résultats.
2. Savoir décrire le QI (WAIS 4) en sous-épreuves et rappeler que la distribution normale du QI ne garantit pas que l’intelligence réelle suit la même distribution.
3. Interpréter correctement les percentiles (25/50/75) et relier quartiles à percentiles, puis définir l’écart interquartile et l’écart semi-interquartile.
4. Calculer et interpréter un score Z : (valeur − moyenne)/écart-type, et rappeler le recodage nécessaire pour les items inversés avant agrégation.
5. Expliquer pourquoi la standardisation des conditions d’administration est essentielle et citer les biais de correction des réponses longues (halo, ordre/séquence, stéréotypie/inertie).
6. Relier loi normale et paramètres (moyenne/écart-type) et comprendre la standardisation vers la normale réduite (score Z).
7. Définir score observé Xt, score vrai X∞ et erreur de mesure Xe, puis expliquer comment l’erreur de mesure sous-estime la corrélation (validité corrigée ≤ fidélité).
8. Définir fidélité (part de variance vraie) et erreur standard de mesure (EMS), puis relier fidélité et longueur du test via Spearman-Brown (n = coefficient d’allongement).
9. Choisir et justifier une méthode de fidélité selon le type d’items (KR20/KR21 pour dichotomiques, alpha de Cronbach pour cohérence interne souvent multi-niveaux) et rappeler l’idée d’unidimensionnalité.
10. Expliquer la logique des pénalités en QCM à pénalité : hasard 1/k, pénalité −1/(k−1), et rappeler les hypothèses nécessaires (mauvaise réponse due au hasard, chance comparable).
11. Décrire le modèle de Rasch : probabilité dépend de la différence aptitude–difficulté, valeurs clés (0 → 0,5 ; −1 → 0,27 ; +1 → 0,73) et interprétation calibration (100 élèves/100 items).
12. Expliquer la validité : définition contextualisée, relation validité–fidélité (validité ≤ fidélité), et méthodes de validité prédictive (corrélation avec critère, indices d’efficacité, séparation des groupes).