La réponse courte
Une valeur p est la probabilité de voir un résultat au moins aussi extrême que le vôtre, si l’hypothèse nulle (pas d’effet réel) était réellement vraie. Une petite valeur p (généralement inférieure à 0,05) suggère que vos données seraient inhabituelles dans cette hypothèse : une preuve contre l'hypothèse nulle, pas une preuve qu'elle est fausse, et non la probabilité que l'hypothèse nulle elle-même soit vraie.
Points clés à retenir
- p < 0,05 ne prouve pas qu'un effet est réel ; cela signifie que les données observées seraient peu probables s’il n’y avait vraiment aucun effet.
- La valeur p dépend de la statistique du test, de la taille de l'échantillon et de la variabilité : un effet minime et sans importance peut toujours produire une petite valeur p si l'échantillon est suffisamment grand.
- Les tests bilatéraux répartissent la signification dans les deux sens et rapportent généralement environ le double de la valeur p d'un test unilatéral correspondant.
- Différentes statistiques de test (z, t, chi carré, F) proviennent de différentes distributions, de sorte que la même statistique numérique peut produire des valeurs p très différentes selon le test appliqué.
Seuils de signification communs
| plage de valeurs p | Interprétation typique |
|---|---|
| p ≥ 0.10 | Peu ou pas de preuves contre l'hypothèse nulle |
| 0.05 ≤ p < 0.10 | Preuves faibles ou marginales |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | Des preuves solides contre l’hypothèse nulle |
Ces bandes sont des conventions et non des lois de la nature : différents domaines (médecine, physique, sciences sociales) adoptent des seuils différents en fonction du coût d'un faux positif.
Unilatéral ou bilatéral
| Test | Question posée | relation de valeur p |
|---|---|---|
| À deux queues | Y a-t-il une différence, dans les deux sens ? | ~2× la valeur p unilatérale |
| Unilatéral | Y a-t-il une différence dans une direction spécifique ? | ~1/2 la valeur p bilatérale |
Exemple concret : valeur p du test z
z = 1,96, test bilatéral
p = 2 × (1 − Φ(1,96)) = 2 × (1 − 0,9750) = 0,05
C'est exactement pourquoi 1,96 apparaît si souvent dans les statistiques : c'est le score z dont la valeur p bilatérale se situe précisément au seuil conventionnel de 0,05, ce qui en fait le seuil standard pour un niveau de confiance de 95 %.
Erreurs courantes à éviter
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- Choisir la direction d'un test unilatéral après avoir vu dans quelle direction les données penchent - la direction doit être décidée avant d'examiner les résultats, sinon le test n'est plus valide.
- Traiter p = 0,05 comme une ligne dure – une valeur p de 0,049 et 0,051 représente des preuves presque identiques malgré un atterrissage sur des côtés opposés du seuil commun.
- Confondre signification statistique et importance pratique : un échantillon suffisamment grand peut rendre statistiquement significatif même un effet trivialement petit et sans importance.
Calculatrices associées
- Calculateur d'intervalle de confiance — estimer une fourchette au lieu de tester une seule hypothèse.
- Calculateur de score Z — convertir une valeur brute en score z que cette calculatrice peut tester.
- Calculateur d'écart type — calculer la variabilité qui alimente la plupart des statistiques de test.
- Calculateur de taille d’échantillon — prévoir une étude avec suffisamment de puissance pour détecter un effet réel.