Krótka odpowiedź
Wartość p to prawdopodobieństwo otrzymania wyniku co najmniej tak ekstremalnego jak Twój, jeśli hipoteza zerowa (brak rzeczywistego efektu) była rzeczywiście prawdziwa. Mała wartość p (zwykle poniżej 0,05) sugeruje, że przy takim założeniu dane byłyby nietypowe — dowód przeciwko hipotezie zerowej, a nie dowód jej fałszywości, a nie prawdopodobieństwo, że sama hipoteza zerowa jest prawdziwa.
Kluczowe wnioski
- p < 0,05 nie dowodzi, że efekt jest rzeczywisty; oznacza to, że zaobserwowane dane byłyby mało prawdopodobne, gdyby rzeczywiście nie było żadnego efektu.
- Wartość p zależy od statystyki testowej, wielkości próby i zmienności — niewielki, nieistotny efekt może nadal dawać małą wartość p, jeśli próbka jest wystarczająco duża.
- Testy dwustronne dzielą istotność w obu kierunkach i generalnie podają wartość p w przybliżeniu dwukrotnie większą niż pasujący test jednostronny.
- Różne statystyki testowe (z, t, chi-kwadrat, F) pochodzą z różnych rozkładów, więc ta sama statystyka liczbowa może dawać bardzo różne wartości p w zależności od zastosowanego testu.
Wspólne progi istotności
| zakres wartości p | Typowa interpretacja |
|---|---|
| p ≥ 0.10 | Niewiele lub żaden dowód przeciwko hipotezie zerowej |
| 0.05 ≤ p < 0.10 | Słabe lub marginalne dowody |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | Mocne dowody przeciwko hipotezie zerowej |
Te pasma to konwencje, a nie prawa natury — różne dziedziny (medycyna, fizyka, nauki społeczne) przyjmują różne progi w zależności od tego, jak kosztowny byłby fałszywy alarm.
Jednostronny vs. dwustronny
| Test | Zadane pytanie | związek wartości p |
|---|---|---|
| Dwustronny | Czy jest jakaś różnica w którąkolwiek stronę? | ~2× jednostronna wartość p |
| Jednostronny | Czy jest różnica w jednym konkretnym kierunku? | ~1/2 dwustronna wartość p |
Sprawdzony przykład: wartość p testu Z
z = 1,96, test dwustronny
p = 2 × (1 - Φ(1,96)) = 2 × (1 - 0,9750) = 0,05
Właśnie dlatego wartość 1,96 pojawia się tak często w statystykach — jest to wynik Z, którego dwustronna wartość p mieści się dokładnie w konwencjonalnym progu 0,05, co czyni ją standardową wartością odcięcia dla poziomu ufności na poziomie 95%.
Typowe błędy, których należy unikać
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- Wybór kierunku testu jednostronnego po sprawdzeniu, w którą stronę pochylają się dane — o kierunku należy zdecydować przed przyjrzeniem się wynikom, w przeciwnym razie test nie będzie już ważny.
- Traktując p = 0,05 jako twardą linię – wartość p wynosząca 0,049 i 0,051 stanowi niemal identyczny dowód, mimo że znajduje się po przeciwnych stronach wspólnego progu.
- Mylenie znaczenia statystycznego ze znaczeniem praktycznym — wystarczająco duża próbka może sprawić, że nawet trywialnie mały, nieistotny efekt stanie się istotny statystycznie.
Powiązane kalkulatory
- Kalkulator przedziału ufności — oszacuj zakres zamiast testować pojedynczą hipotezę.
- Kalkulator wyniku Z — przekonwertuj surową wartość na wynik Z, który ten kalkulator może przetestować.
- Kalkulator odchylenia standardowego — obliczyć zmienność, która wpływa na większość statystyk testowych.
- Kalkulator wielkości próbki — zaplanować badanie o mocy wystarczającej do wykrycia rzeczywistego efektu.