Короткий ответ
P-значение — это вероятность увидеть результат, по крайней мере, столь же экстремальный, как ваш, если бы нулевая гипотеза (без реального эффекта) была действительно верной. Небольшое значение p (обычно ниже 0,05) предполагает, что ваши данные будут необычными при этом предположении — свидетельство против нулевой гипотезы, а не доказательство ее ложности, а также не вероятность того, что нулевая гипотеза сама по себе верна.
Ключевые выводы
- p < 0,05 не доказывает, что эффект реален; это означает, что наблюдаемые данные были бы маловероятными, если бы эффекта действительно не было.
- Значение p зависит от статистики теста, размера выборки и изменчивости — крошечный, неважный эффект все равно может привести к небольшому значению p, если выборка достаточно велика.
- Двусторонние тесты разделяют значимость по обоим направлениям и обычно сообщают примерно вдвое большее значение p, чем соответствующий односторонний тест.
- Различные статистические данные теста (z, t, хи-квадрат, F) происходят из разных распределений, поэтому одна и та же числовая статистика может давать очень разные значения p в зависимости от того, какой тест применяется.
Общие пороги значимости
| диапазон значений p | Типичная интерпретация |
|---|---|
| p ≥ 0.10 | Практически нет доказательств против нулевой гипотезы |
| 0.05 ≤ p < 0.10 | Слабые или незначительные доказательства |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | Убедительные доказательства против нулевой гипотезы |
Эти полосы являются условностями, а не законами природы: в разных областях (медицина, физика, социальные науки) используются разные пороговые значения в зависимости от того, насколько дорогостоящим будет ложноположительный результат.
Односторонний против двустороннего
| Тест | Вопрос задан | отношение p-значения |
|---|---|---|
| Двухвостый | Есть ли разница в ту или иную сторону? | ~2× одностороннее значение p |
| Однохвостый | Есть ли разница в каком-то конкретном направлении? | ~1/2 двустороннее значение p |
Рабочий пример: p-значение z-теста
z = 1,96, двусторонний критерий
р = 2 × (1 — Φ(1,96)) = 2 × (1 — 0,9750) = 0,05
Именно поэтому 1,96 так часто появляется в статистике — это z-показатель, двустороннее значение p которого попадает точно на обычный порог 0,05, что делает его стандартным пороговым значением для уровня достоверности 95%.
Распространенные ошибки, которых следует избегать
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- Выбор направления одностороннего теста после того, как вы увидите, в какую сторону склоняются данные — направление необходимо определить до просмотра результатов, иначе тест перестанет быть действительным.
- Рассматривая p = 0,05 как жесткую линию — значения p 0,049 и 0,051 представляют собой почти идентичные доказательства, несмотря на то, что они находятся на противоположных сторонах общего порога.
- Путаница статистической значимости с практической значимостью: достаточно большая выборка может сделать даже тривиально небольшой, неважный эффект статистически значимым.
Сопутствующие калькуляторы
- Калькулятор доверительного интервала — оценить диапазон вместо проверки одной гипотезы.
- Калькулятор Z-оценки — преобразовать необработанное значение в z-показатель, который может проверить этот калькулятор.
- Калькулятор стандартного отклонения — вычислить изменчивость, которая учитывается в большинстве статистических данных испытаний.
- Калькулятор размера выборки — запланируйте исследование с достаточной мощностью, чтобы обнаружить реальный эффект.