「統計ミニ解説」は、統計を学んでいて出てきた「これって何？」を短時間で確認できるシリーズです。
「3つのグループを比較したいなら、2標本t検定を3回行えばいいのでは？」
統計解析を勉強していると、このように思うことがあります。
しかし、同じ目的で複数の検定を繰り返すと、本当は差がないのに偶然「有意差あり」と判定してしまう可能性が高くなります。
このような問題を「検定の多重性」と呼びます。
この記事では、なぜ検定を繰り返すと問題になるのか、3群の平均値を比較するケースを例に簡単に解説します。
検定の多重性とは？
検定の多重性とは、複数の統計的検定を行うことで、偶然「有意差あり」と判定する確率が高くなる問題です。
例えば、有意水準5%で検定する場合を考えてみましょう。
本当は差がない場合でも、1回の検定では5%の確率で誤って「有意差あり」と判定する可能性があります。
1回だけなら5%ですが、同じような検定を何度も繰り返せば、どれか1つくらいは偶然P値が0.05未満になる可能性が高くなります。
これが検定の多重性を理解するうえで最も重要なポイントです。
検定を繰り返すとどのくらい確率が上がる？
具体的な数字で考えてみましょう。
有意水準5%の検定では、1回の検定で偶然「有意差あり」となる確率は5%です。
反対に、偶然の有意差が出ない確率は95%」です。
仮に互いに独立な検定を10回行い、すべての帰無仮説が正しいとすると、10回すべてで偶然の有意差が出ない確率は、
0.95¹⁰ ≒ 0.60
となります。
したがって、少なくとも1回は偶然「有意差あり」となる確率は、
1 − 0.95¹⁰ ≒ 0.40
です。
つまり、この単純化した条件では、10回検定すると約40%の確率で少なくとも1回は偶然「有意差あり」と判定されることになります。
以下のように整理すると分かりやすいです。
※各検定が互いに独立し、すべての帰無仮説が正しく、各検定の有意水準を5%とした単純化した例です。実際の多重比較では検定間に相関がある場合もあるため、この数値がそのまま当てはまるとは限りません。
3群をt検定で比較するとどうなる？
例えば、設備A・設備B・設備Cで製造した製品の強度を比較するとします。
2標本t検定を使えば、
・設備A vs 設備B
・設備A vs 設備C
・設備B vs 設備C
という3回の比較ができます。
一見すると問題なさそうですが、それぞれを有意水準5%で個別に検定すると、複数回の検定によって全体として偶然有意差を見つける可能性が高くなります。
そこで、3群以上の平均値を比較するときに使われる代表的な方法が分散分析（ANOVA）です。
分散分析では、まず
複数のグループの平均値に、全体として差があるか？
を1つの検定として確認します。
分散分析で有意なら、どこに差がある？
ここで一つ疑問が出てきます。
例えば設備A・B・Cについて分散分析を行って有意差が確認されても、それだけでは、
「AとBに差があるのか？」「AとCに差があるのか？」「BとCに差があるのか？」までは分かりません。
そこで使用するのが多重比較です。
代表的な方法には、Tukey法やBonferroni法などがあります。
これらの方法では、複数の比較を行うことを考慮しながら、誤って「有意差あり」と判定する確率をコントロールします。
流れとしては、以下のように考えると分かりやすいです。
多重性は「平均値の比較」だけの問題ではない
検定の多重性は、t検定や分散分析だけに関係する問題ではありません。
例えば、
✅多数の項目についてそれぞれ検定する
✅多くのグループを比較する
✅複数の評価指標について検定する
✅データをさまざまな条件に分けて何度も検定する
といった場合にも注意が必要です。
「P値が0.05未満になるまでいろいろな検定を試す」といった分析を行うと、偶然の有意差を見つけてしまう危険性があります。
P値だけを見るのではなく、「全部で何回の検定を行ったのか」まで考えることが大切です。