La valeur p indique si une différence entre deux groupes est probablement réelle ou attribuable au hasard, mais elle ne renseigne pas sur l’ampleur de cette différence. La taille d’effet — le plus souvent le d de Cohen — complète cette information en exprimant la différence sur une échelle standardisée et comparable. Ce guide explique le calcul du d de Cohen, l’utilisation de l’écart-type combiné et les situations où le g de Hedges est préférable. Les intervalles de confiance sont approximatifs. Les catégories inspirées de Cohen sont des repères généraux et non des normes universelles de pertinence pratique. Les résultats supposent des observations indépendantes, des écarts-types d’échantillon, des échelles comparables et des résultats approximativement continus ; les données appariées, les variances très inégales, les distributions asymétriques ou les données ordinales nécessitent une méthode adaptée. La méthode suit Cohen (1988) et Hedges et Olkin (1985).
Le d de Cohen et la valeur p
La valeur p répond à la question « cette différence pourrait-elle être due au hasard ? » : elle concerne la signification statistique et dépend fortement de la taille de l’échantillon. Avec un échantillon suffisamment grand, une différence infime et sans importance pratique peut produire une valeur p minuscule. Le d de Cohen répond à une autre question : « quelle est l’ampleur de cette différence, indépendamment du nombre de participants à l’étude ? » Un d de 0.1 reste égal à 0.1 que l’étude compte 20 ou 20,000 participants. Rapporter les deux — signification statistique et taille d’effet — donne une vue d’ensemble : l’effet est-il réel et a-t-il de l’importance ?
Pourquoi combiner les écarts-types
Le d de Cohen standardise la différence brute entre les moyennes en la divisant par un écart-type ; le résultat s’exprime donc en « nombre d’écarts-types de séparation » plutôt que dans les unités d’origine (points, dollars, millisecondes). Comme deux groupes indépendants peuvent avoir des écarts-types différents, le d de Cohen utilise un écart-type combiné : une moyenne pondérée des dispersions des deux groupes, la contribution de chacun étant pondérée par la taille de son échantillon (plus précisément, n − 1, ses degrés de liberté). Cette méthode suppose que la variabilité sous-jacente des groupes est assez semblable. Si la dispersion de l’un est nettement supérieure à celle de l’autre, certains chercheurs préfèrent le delta de Glass, qui utilise uniquement l’écart-type du groupe témoin.
Quand utiliser le g de Hedges plutôt que d
Le d de Cohen présente un biais connu pour les petits échantillons : il tend à surestimer légèrement la taille réelle de l’effet dans la population lorsque les échantillons sont petits. Le g de Hedges applique un facteur de correction, toujours légèrement inférieur à 1, qui rapproche d de zéro. La correction est maximale pour les petits échantillons et tend vers zéro lorsque leur taille totale dépasse environ 50 ; d et g deviennent alors presque identiques. En règle générale, rapportez le g de Hedges à la place du d de Cohen ou en complément lorsque l’un des groupes compte moins d’environ 20 observations, ce qui est fréquent dans les études pilotes et les petits essais cliniques.