짧은 대답
p-값은 귀무 가설(실제 효과 없음)이 실제로 참인 경우 적어도 귀하의 결과만큼 극단적인 결과를 볼 확률입니다. 작은 p-값(일반적으로 0.05 미만)은 해당 가정 하에서 데이터가 비정상적이라는 것을 의미합니다. 즉, 귀무 가설이 거짓이라는 증거가 아니라 귀무 가설에 대한 증거이며 귀무 가설 자체가 참일 확률이 아닙니다.
주요 시사점
- p < 0.05는 효과가 실제임을 증명하지 않습니다. 이는 실제로 효과가 없다면 관찰된 데이터가 있을 가능성이 낮다는 것을 의미합니다.
- p-값은 검정 통계량, 표본 크기 및 변동성에 따라 달라집니다. 표본이 충분히 크면 아주 작고 중요하지 않은 효과라도 작은 p-값을 생성할 수 있습니다.
- 양측 테스트는 유의성을 양쪽 방향으로 나누고 일반적으로 일치하는 단측 테스트의 p-값을 대략 두 배로 보고합니다.
- 다양한 테스트 통계(z, t, 카이제곱, F)는 다양한 분포에서 나오므로 동일한 수치 통계라도 적용되는 테스트에 따라 매우 다른 p-값이 생성될 수 있습니다.
공통 유의성 임계값
| p-값 범위 | 전형적인 해석 |
|---|---|
| p ≥ 0.10 | 귀무가설을 반박하는 증거가 거의 없거나 전혀 없음 |
| 0.05 ≤ p < 0.10 | 약하거나 한계가 있는 증거 |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | 귀무가설을 반박하는 강력한 증거 |
이러한 대역은 자연 법칙이 아니라 관례입니다. 다양한 분야(의학, 물리학, 사회 과학)는 거짓 긍정의 비용이 얼마나 큰지에 따라 서로 다른 임계값을 채택합니다.
단측 대 양측
| 시험 | 질문 | p-값 관계 |
|---|---|---|
| 양꼬리 | 어느 방향에서든 차이가 있나요? | ~2× 단측 p-값 |
| 단측 | 특정 방향에 차이가 있나요? | ~1/2 양측 p-값 |
실제 예: z-검정 p-값
z = 1.96, 양측 검정
p = 2 × (1 − Φ(1.96)) = 2 × (1 − 0.9750) = 0.05
이것이 바로 1.96이 통계에 그렇게 자주 나타나는 이유입니다. 이는 양측 p-값이 정확히 기존의 0.05 임계값에 도달하여 95% 신뢰 수준에 대한 표준 컷오프가 되는 z-점수입니다.
피해야 할 일반적인 실수
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- 데이터가 어느 방향으로 기울어지는지 확인한 후 단측 테스트 방향을 선택합니다. 결과를 보기 전에 방향을 결정해야 합니다. 그렇지 않으면 테스트가 더 이상 유효하지 않습니다.
- p = 0.05를 하드 라인으로 취급 - p-값 0.049와 0.051은 공통 임계값의 반대쪽에 있음에도 불구하고 거의 동일한 증거를 나타냅니다.
- 통계적 유의성과 실질적인 중요성을 혼동합니다. 표본이 충분히 크면 사소하고 중요하지 않은 효과도 통계적으로 유의미하게 만들 수 있습니다.