短い答え
A p-value is the probability of seeing a result at least as extreme as yours, if the null hypothesis (no real effect) were actually true. A small p-value (commonly below 0.05) suggests your data would be unusual under that assumption — evidence against the null hypothesis, not proof it's false, and not the probability that the null hypothesis itself is true.
重要なポイント
- p < 0.05 は効果が本物であることを証明しません。これは、本当に影響がなかった場合、観察されたデータが存在する可能性は低いことを意味します。
- The p-value depends on the test statistic, sample size, and variability — a tiny, unimportant effect can still produce a small p-value if the sample is large enough.
- 両側検定では有意性が両方向に分割され、一般に一致する片側検定のおよそ 2 倍の p 値が報告されます。
- 異なる検定統計量 (z、t、カイ 2 乗、F) は異なる分布に由来するため、同じ数値統計量でも適用される検定に応じて大きく異なる p 値が生成される可能性があります。
Common significance thresholds
| p値の範囲 | Typical interpretation |
|---|---|
| p ≥ 0.10 | Little to no evidence against the null hypothesis |
| 0.05 ≤ p < 0.10 | 弱い証拠またはわずかな証拠 |
| 0.01 ≤ p < 0.05 | Moderate evidence — commonly called "significant" |
| p < 0.01 | 帰無仮説に対する強力な証拠 |
これらの帯域は慣例であり、自然法則ではありません。さまざまな分野 (医学、物理学、社会科学) は、誤検知のコストに応じて異なるしきい値を採用しています。
片尾 vs 両尾
| テスト | 質問されました | p値の関係 |
|---|---|---|
| 双尾 | どちらの方向でも違いはありますか? | ~2× 片側p値 |
| 片尾 | 特定の方向に違いはありますか? | ~1/2 両側p値 |
作業例: Z 検定の p 値
z = 1.96、両側検定
p = 2 × (1 − Φ(1.96)) = 2 × (1 − 0.9750) = 0.05
これがまさに、1.96 が統計で頻繁に現れる理由です。これは Z スコアであり、その両側 p 値は従来の 0.05 のしきい値に正確に到達し、95% の信頼水準の標準カットオフとなります。
避けるべきよくある間違い
- Treating the p-value as "the probability the null hypothesis is true" — it's computed assuming the null IS true, so it can't simultaneously measure the odds that it's true.
- データがどちらに傾いているかを確認した後で片側検定の方向を選択します。結果を見る前に方向を決定する必要があります。そうしないと、検定は無効になります。
- p = 0.05 を厳密な線として扱うと、p 値 0.049 と 0.051 は、共通のしきい値の反対側にあるにもかかわらず、ほぼ同じ証拠を表します。
- 統計的有意性と実際的な重要性を混同する — サンプルが十分に大きければ、些細で重要でない効果であっても統計的に有意になる可能性があります。
関連する電卓
- 信頼区間の計算ツール — 単一の仮説を検証するのではなく、範囲を推定します。
- Z スコア計算機 — 生の値をこの計算機がテストできる Z スコアに変換します。
- 標準偏差計算機 — ほとんどのテスト統計にフィードされる変動を計算します。
- サンプルサイズ計算ツール — 実際の効果を検出するのに十分な能力を備えた研究を計画します。