Коротка відповідь
P-значення — це ймовірність побачити результат, щонайменше такий екстремальний, як ваш, якщо нульова гіпотеза (без реального ефекту) була дійсно вірною. Невелике значення p (зазвичай нижче 0,05) свідчить про те, що ваші дані були б незвичайними за такого припущення — доказ проти нульової гіпотези, а не доказ її хибності, а не ймовірність того, що сама нульова гіпотеза істинна.
Ключові висновки
- p < 0,05 не доводить, що ефект реальний; це означає, що спостережувані дані були б малоймовірними, якби справді не було ефекту.
- P-значення залежить від тестової статистики, розміру вибірки та мінливості — крихітний, неважливий ефект все одно може призвести до невеликого p-значення, якщо вибірка досить велика.
- Двосторонні тести розділяють значущість в обох напрямках і, як правило, повідомляють про приблизно подвоєне значення p порівняно з відповідним однобічним тестом.
- Різні статистичні дані тесту (z, t, хі-квадрат, F) надходять із різних розподілів, тому одна й та сама числова статистика може давати дуже різні значення p залежно від того, який тест застосовується.
Загальні пороги значущості
| діапазон значень p | Типове тлумачення |
|---|---|
| p ≥ 0.10 | Мало доказів проти нульової гіпотези |
| 0.05 ≤ p < 0.10 | Слабкі або маргінальні докази |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | Вагомі докази проти нульової гіпотези |
Ці діапазони є умовностями, а не законами природи — різні галузі (медицина, фізика, соціальні науки) приймають різні порогові значення залежно від того, наскільки дорогим буде хибний позитивний результат.
Однохвостий проти двостороннього
| Тест | Запитання | p-значення співвідношення |
|---|---|---|
| Двохвостий | Чи є різниця в будь-якому напрямку? | ~2× однобічний p-значення |
| Однохвостий | Чи є різниця в одному конкретному напрямку? | ~1/2 двостороннє p-значення |
Спрацьований приклад: p-значення z-тесту
z = 1,96, двобічний тест
p = 2 × (1 − Φ(1,96)) = 2 × (1 − 0,9750) = 0,05
Саме тому 1,96 так часто з’являється в статистиці — це z-показник, чиє двостороннє p-значення припадає точно на умовне порогове значення 0,05, що робить його стандартним пороговим значенням для рівня довіри 95%.
Поширені помилки, яких слід уникати
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- Вибір напряму одностороннього тесту після визначення того, в який бік схиляються дані — напрямок потрібно визначити перед переглядом результатів, інакше тест більше не дійсний.
- Розглядаючи p = 0,05 як жорстку лінію: p-значення 0,049 і 0,051 представляють майже ідентичні докази, незважаючи на те, що вони знаходяться по різні боки загального порогу.
- Плутання статистичної значущості з практичною важливістю — досить велика вибірка може зробити навіть тривіально малий, неважливий ефект статистично значущим.
Пов'язані калькулятори
- Калькулятор довірчого інтервалу — оцінити діапазон замість перевірки однієї гіпотези.
- Калькулятор Z-Score — перетворити необроблене значення на z-показник, який може перевірити цей калькулятор.
- Калькулятор стандартного відхилення — обчислити мінливість, яка входить до більшості тестових статистичних даних.
- Калькулятор розміру вибірки — сплануйте дослідження з достатньою потужністю, щоб виявити реальний ефект.