多重比較の選び方｜Tukey・Bonferroni・Dunnett・Holmの違いをわかりやすく解説

一元配置分散分析（ANOVA）で平均値に全体として差があると分かったら、次は「どの群とどの群が違うのか」を確認したくなります。そのときに使うのが、多重比較です。

代表的な方法には、Tukey法、Bonferroni法、Dunnett法、Holm法があります。名前が似ていても、比較する対象や誤判定を抑える仕組みは同じではありません。

方法の選び方によって、実際の差を見つける力（検出力）も変わります。まずは何を比較したいかを明確にすることが大切です。

この記事では、4手法の違いを図と製造業の例で整理し、目的に合う方法を選ぶフローチャートと、詳しい解説記事への案内をまとめます。

多重比較では、比較全体の誤判定を考える

3群A・B・Cについて、A–B、A–C、B–Cのt検定をそれぞれ有意水準5%で繰り返すと、比較全体で誤って「差がある」と判定する可能性が高くなります。各検定が5%でも、比較全体の誤判定率が5%に保たれるとは限りません。

多重比較では、検定の集合（ファミリー）を定め、その中で本当は差がない比較を少なくとも1つ誤って有意とする確率（FWER）を抑えます。背景は検定の多重性の解説をご覧ください。

ANOVAは「どこかの群の平均が違うか」、多重比較は「どの比較に差があるか」を調べます。本記事は一元配置分散分析後の比較を入口にしますが、ANOVAの有意性がすべての多重比較の必須条件というわけではありません。事前に定めた比較を、その方法自体で多重性を調整して評価する場合もあります。

Tukey・Bonferroni・Dunnett・Holmの違い

Tukey法とDunnett法は、主に平均値を比べる組み合わせの構造に合わせた方法です。Bonferroni法とHolm法は、選んだ複数の検定のp値に適用できる汎用的な補正です。

図のmは、補正の対象にする検定数です。Bonferroni法・Holm法は全ペアにも適用できますが、平均値の全ペア比較ならTukey法、共通の基準群との比較ならDunnett法が代表的な候補になります。

各手法の特徴を製造業の例で確認

Tukey法｜すべての群同士を比較する

設備A・B・C・Dの平均寸法をすべての設備間で比較する場合、Tukey法を検討します。4群なら、A–B、A–C、A–D、B–C、B–D、C–Dの6ペアが対象です。

全ペアの平均差を、比較全体の誤判定率を考慮して評価します。通常のt検定を6回繰り返す方法とは判定基準が異なり、スチューデント化範囲の分布を使います。群ごとの標本数が異なる場合は、Tukey-Kramer法が使われます。

Bonferroni法｜選んだ比較を同じ基準で判定する

設備4群があっても、解析前からA–BとA–Dだけに関心があるなら、この2比較を1つのファミリーとして補正できます。結果を見て有意だった比較だけを選び、比較数を2とすることは適切ではありません。

Bonferroni法は、全体の有意水準αを検定数mで割り、各検定を同じ基準で判定します。計算がシンプルで、検定同士の独立性を必要としない補正です。

2比較でα＝0.05なら、各検定の基準は0.05 / 2＝0.025です。調整済みp値を使う場合は、min（m × p, 1）を計算して全体の有意水準αと比べても同じ判定になります。比較数が多いほど基準が厳しくなり、差を検出しにくい場合があります。

Dunnett法｜1つの基準群とその他の群を比較する

現行条件に対して改善A・B・Cを評価し、知りたいのが「現行–A」「現行–B」「現行–C」の3比較だけならDunnett法を検討します。改善Aと改善Bなど、改善条件同士の比較は対象にしません。

現行材料と複数の新材料候補、標準条件と複数の実験条件などに適しています。共通の基準群を使う比較間の相関を考慮するため、通常のt分布の基準をそのまま使う方法ではありません。

Holm法｜p値を小さい順に段階的に判定する

Holm法は、Bonferroni法の考え方を段階的に適用する方法です。補正前のp値を小さい順に並べ、最初はα/m、次はα/（m−1）というように基準を変えて判定します。

途中で帰無仮説を棄却できなければ、そこで止め、それ以降も棄却しません。後ろのp値だけを緩い基準で個別に判定することはできません。帰無仮説の棄却は、その比較について統計的に有意な差があると判断することです。

次は、3つの有効なp値が0.010、0.030、0.040だったとする、判定手順の説明用の例です。実測データから算出した結果ではありません。全体の有意水準は5%とします。

同じ有効なp値の集合と同じ全体の有意水準なら、Holm法はBonferroni法で有意となる比較をすべて有意とし、さらに差を検出できる場合があります。つまり、検出力はBonferroni法以上です。両者とも検定間の独立性を必要とせずFWERを制御しますが、元の検定のp値が妥当であることは必要です。

目的別｜多重比較の選び方

上から順に、解析で答えたい問いを確認してください。Bonferroni法とHolm法の選択では、一律の基準で説明しやすいことと、差を見つける力を維持することのどちらを重視するかを考えます。

これは代表的な選び方の目安です。研究目的や解析計画によって適切な方法は異なります。図をタップ・クリックすると拡大できます。

例えば、新材料候補が現行材料と異なるかだけを知りたいなら、候補同士まで比較する必要はありません。答えたい問いと、補正の対象にする比較範囲を一致させることが大切です。

4手法の比較表と詳細記事

比較したい対象を決めたら、次の表で特徴を確認してください。公開済みの詳細記事では、計算方法や製造業での使い方を説明しています。

手法	主な目的	比較対象	特徴	詳細
Tukey法	全群の平均差を確認	すべてのペア	全ペアの平均差をまとめて評価	詳しく見る →
Bonferroni法	任意の複数検定を補正	事前に定めた比較の集合	α/mの一律基準。汎用的でシンプル	詳しく見る →
Dunnett法	基準群に対する平均差を確認	1つの基準群 vs 各条件	基準群を共有する相関を考慮	詳しく見る →
Holm法	任意の複数検定を補正	事前に定めた比較の集合	p値順に段階判定。Bonferroni以上の検出力	本記事の説明 ↑

スマートフォンでは表を横にスクロールできます。Holm法の単独解説記事は現在ないため、本記事内の説明にリンクしています。

多重比較を使うときの注意点

比較の集合と有意水準を解析前に決める

基準群、比較する組み合わせ、有意水準、片側・両側のどちらを使うかを事前に決めます。複数の品質項目を同時に評価する場合は、どこまでを1つのファミリーとして扱うかも整理してください。

元の検定の前提を確認する

古典的なTukey法・Dunnett法では、観測値の独立性、各群の正規性、等分散性などを確認します。分散が大きく異なる場合は、Welch ANOVAや、全ペア比較のGames-Howell法など、データに合う別の方法を検討します。

Bonferroni法・Holm法も、元の検定のp値が妥当であることが前提です。多重性の補正によって、元の検定の前提違反が解消されるわけではありません。

統計的な有意差と、製造上の重要性を確認する

p値だけでなく、平均値差、効果量、信頼区間を確認し、規格、公差、品質への影響、工程能力、コストに照らして判断します。有意差があっても、それだけで「改善した」「実務上大きな効果がある」とはいえません。

有意になるまで手法を変更しない

「Tukey法で有意にならなかったので別の方法に変える」といった使い分けは避けます。比較目的とデータの性質に基づいて方法を決め、結果をその計画に沿って解釈しましょう。

まとめ

多重比較では、どの方法が最も優れているかを一律に決めるより、何を比較したいかに合う方法を選ぶことが大切です。全群の平均をすべてのペアで比較するならTukey法、1つの基準群と複数条件の平均を比較するならDunnett法が代表的な候補になります。

事前に決めた任意の複数比較には、Bonferroni法やHolm法を使えます。Bonferroni法は一律の基準で分かりやすく、Holm法はp値を小さい順に判定して検出力を維持しやすい方法です。

方法は解析結果を見て都合よく選ばず、比較する範囲と有意水準を先に決めておきましょう。得られた有意差に加えて、差の大きさと品質上の意味まで確認することが、製造現場での判断につながります。

Stat Lab Analytics（StatLA）

3群以上の平均を、 実際のデータで 比較してみよう。

データを入力するだけで分散分析を実行。
F値やp値、グループ間の違いを確認できます。

• 登録不要
• 無料
• ブラウザで利用可能

StatLAで分散分析を試してみる → 一元配置分散分析の操作方法を先に見る →

参考資料

R公式ドキュメント：TukeyHSD ／ R公式ドキュメント：p値の多重比較補正 ／ SciPy公式ドキュメント：Dunnett法