手元に2つのグループの測定値があります。片方の平均がもう片方より少し高い。「差がある」と言ってよいのかを確かめたい — ここまでは誰でも同じです。ところが実際に手を動かそうとすると、最初の一歩で止まります。
t検定？ Welchのt検定？ マン・ホイットニーのU検定？ どれを使えばいいのか。
統計の教科書は個々の検定を1つずつ丁寧に説明してくれますが、「目の前のデータに対してどれを選ぶか」という肝心の判断は読者に委ねられがちです。しかもこの選択を間違えると、p値の計算自体は正しくても結論は信用できなくなります。実際に後で見るように、分散が違う2群にStudentのt検定を使うと、5%のつもりの偽陽性率が21.0%まで膨らみます。対応のあるデータに独立2標本の検定を使うと、本来76.6%あった検出力が7.9%まで落ちます。
この記事は、個々の検定の理論書ではなく選び方と実施手順の道案内です。次のような場面で迷わなくなることを目指します。
- 実験データの解析: 条件を変えた2群・3群の測定結果に、どの検定を当てるべきか判断する
- A/Bテストの評価: 施策の前後比較か独立した2群かを見極め、対応の有無を正しく反映する
- 品質検査・受入試験: 測定値が規格値を満たすかを、標本サイズが小さくても妥当な方法で判定する
- 論文・レポートの査読: 他人の解析で検定の選択が適切だったかをチェックする
この図が仮説検定の骨格です。データを受け取り、①「差がない」という仮説を立て、②データを1つの数（検定統計量）に要約し、③その数が「差がないとき」に取りうる範囲（帰無分布）と比べ、④端のほうに落ちていれば「偶然では説明しにくい」と判断する。右下の小さな図が③と④の関係で、両端の色を塗った領域（棄却域）に統計量が落ちれば帰無仮説を棄却します。重要なのは、①②③をどう選ぶかがデータの性質で決まっていることです。ここを誤ると④の計算がどれだけ正確でも結論は成り立ちません。
本記事の内容
- 検定を選ぶ4つの質問と、選択フローチャート
- どの検定でも共通する実施手順の型と棄却域の置き方
- 主要な検定の使い分け早見表
- 独立2群の既定値をWelchのt検定にすべき理由（実測）
- 「等分散検定してから選ぶ」という手続きの落とし穴（実測）
- 正規性の確認方法と、正規性が崩れたときのt検定の耐性（実測）
- ノンパラメトリック検定への切り替え基準とその代償（実測）
- 対応の有無を取り違えたときの損失（実測）
- 片側検定の後出しと途中集計の危険（実測）
- 実施前チェックリスト
前提知識
この記事は検定の「選び方」に焦点を当てるため、個々の検定の理論的な導出は最小限にとどめ、詳しい記事へのリンクで補います。以下を読んでおくと理解が深まります。
これらの前提を押さえたうえで、まずは「どの検定を選ぶか」という最初の分岐から始めましょう。
検定を選ぶ4つの質問
分布の形から考え始めると必ず迷う
検定選びで最も多い失敗は、いきなり「このデータは正規分布かな？」と考え始めることです。正規性の判定は主観が入りやすく、しかも判定の答えが出ても選択肢が絞りきれません。正規でないと分かったところで、それが1群の話なのか2群なのか、対応があるのかないのかが決まっていなければ、どの代替手法に進むべきかは決まらないからです。
正しい順番は逆です。まず動かしようのない事実から絞り込み、主観の入る判断を最後に回します。
- 尺度: データは数値か、カテゴリか。これは測定の仕方で決まっており、議論の余地がありません
- 群数: 比べるグループはいくつか。1群（基準値との比較）、2群、3群以上
- 対応: 2群以上の場合、同じ対象を繰り返し測ったものか、別々の対象か。実験計画で決まっています
- 分布の形: ここで初めて正規性・外れ値・裾の重さを見る
1〜3はデータを取った時点で確定しており、誰が判断しても同じ答えになります。4だけが判断を要する部分です。最初の3つで選択肢を数個まで絞り、最後の1つで決める — これが迷わない手順です。
選択フローチャート
4つの質問を1枚にまとめたのが次のフローチャートです。
この図を上から順にたどれば、ほとんどの実務的な場面で使う検定にたどり着きます。左の枝は「カテゴリの出現度数を比べたい」場合で、期待度数が十分あればカイ二乗検定、少ない場合はフィッシャーの正確検定に進みます。右の枝は数値データで、群数が1・2・3以上で3つのレーンに分かれ、2群のレーンだけが「対応あり／なし」でさらに分岐します。注目してほしいのは、分布の形（正規かどうか）を問う質問がすべて末端に置かれていることです。この質問に到達する頃には、残る選択肢は2つに絞られています。
もう1つ、図の下に書いた既定値も重要です。独立2群の比較では、等分散が確認できたかどうかにかかわらず最初からWelchのt検定を選ぶのが安全です。その理由は後ほど実測で示します。
フローチャートで検定が決まったら、次はどの検定でも共通する「実施の型」に移ります。
どの検定でも共通する実施手順
5つのステップ
検定の種類が変わっても、実施の手順は同じ型に収まります。この型を体に入れておけば、初めて使う検定でも迷いません。
- 仮説を立てる — 帰無仮説 $H_0$（差がない）と対立仮説 $H_1$（差がある）を、データを見る前に文章で書く
- 有意水準 $\alpha$ と片側／両側を決める — これもデータを見る前に決める。通常は $\alpha = 0.05$、両側
- 検定統計量を計算する — データを1つの数に要約する
- 帰無分布と比べる — その数が $H_0$ のもとで取りうる範囲の、どのあたりに落ちるかを見る
- 結論を述べる — p値と併せて、効果量と信頼区間も報告する
ステップ1と2がデータを見る前に来ていることが、この型の要です。後で見るように、結果を見てから $\alpha$ や片側／両側を変えると、検定の意味そのものが壊れます。
検定統計量は「差 ÷ ばらつき」の形をしている
ステップ3の検定統計量は、検定の種類によって式が違いますが、平均を比べる検定はどれも同じ形をしています。1標本t検定なら
$$ \begin{equation} T = \frac{\bar{X} – \mu_0}{S/\sqrt{n}} \end{equation} $$
分子は「観測された差」、分母は「その差が偶然どれくらいばらつくか」を表す標準誤差です。つまり検定統計量は、差を偶然のばらつきという物差しで測り直した量にほかなりません。10という差が大きいか小さいかは、ばらつきが1なのか100なのかで意味が変わります。それを共通の尺度に直すのが分母の役割です。
この見方を持っておくと、後で扱う失敗のパターンが1つの原因に集約されることが分かります。検定の選択を誤る失敗のほとんどは、分母（標準誤差）を間違って見積もることで起きます。分子の差は誰が計算しても同じですが、分母は「どういうデータか」の仮定に依存するからです。
棄却域をどこに置くか
ステップ4では、統計量が帰無分布の端に落ちているかを見ます。「端」の定義が棄却域です。
自由度20のt分布で、合計5%の確率を割り当てる3つの置き方を描きました。両側検定（左）は5%を両端に2.5%ずつ分けるため臨界値は $t = \pm 2.086$ になり、片側検定（中央・右）は5%を片方に集めるので臨界値は $t = \pm 1.725$ と内側に来ます。同じ5%でも、片側にすれば棄却しやすくなるわけです。この「棄却しやすさ」が、後で述べる片側検定の後出しが問題になる理由そのものです。
方向に事前の理由がない限り、両側検定を選ぶのが標準です。「効果が下がることはありえないから片側でよい」と言えるのは、下がった場合には結果を報告しないと事前に決めているときだけであり、実務ではめったにありません。
手順の型が分かったので、次は具体的にどの検定がどの場面に対応するかを一覧で押さえましょう。
主要な検定の使い分け
フローチャートの末端に現れる検定を、比較対象と前提条件の観点でまとめたのが次の表です。
この表の見どころは右の2列です。「主な前提条件」の列を見ると、Welchのt検定だけが等分散を要求していないことが分かります。Studentのt検定と一元配置分散分析は正規性に加えて等分散も必要とし、条件が1つ多い分だけ壊れやすい。そして「前提が崩れたときの代替」の列は、前提を満たせないと判断したときの逃げ道を示しています。正規性が疑わしければ順位に基づく検定へ、期待度数が足りなければ正確検定へ移ります。
各検定の理論的な導出は個別記事に譲ります。
- 1標本t検定 — 基準値との比較
- 2標本t検定 — 独立2群と対応ありの両方
- マン・ホイットニーのU検定 — 順位に基づく2群比較
- 分散分析 — 3群以上の平均の比較
- カイ二乗検定 — 度数と独立性の検定
一覧を眺めると、独立2群の欄にStudentとWelchが並んでいて、どちらを選ぶべきか気になるはずです。ここが実務で最も頻繁に迷う分岐なので、節を改めて詳しく見ます。
独立2群の既定値はWelchのt検定
等分散の仮定は何をしているのか
Studentのt検定は、2群の母分散が等しい（$\sigma_1^2 = \sigma_2^2 = \sigma^2$）と仮定します。この仮定のもとでは、2群のデータをまとめて1つの分散を推定できます。これがプールした分散です。
$$ \begin{equation} s_p^2 = \frac{(n_1 – 1)s_1^2 + (n_2 – 1)s_2^2}{n_1 + n_2 – 2} \end{equation} $$
自由度 $n_1 – 1$ と $n_2 – 1$ を重みとした加重平均になっています。この $s_p^2$ を使って標準誤差を作ります。
$$ \begin{equation} \mathrm{SE}_{\text{Student}} = s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}} \end{equation} $$
一方、等分散を仮定しなければ、平均の差の分散は各群の分散から素直に決まります。$\bar{X}_1$ と $\bar{X}_2$ が独立なので分散は足し算になり、
$$ \begin{equation} \mathrm{Var}(\bar{X}_1 – \bar{X}_2) = \frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2} \end{equation} $$
この $\sigma_i^2$ をそれぞれの標本分散 $s_i^2$ で置き換えたものがWelchの標準誤差です。
$$ \begin{equation} \mathrm{SE}_{\text{Welch}} = \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}} \end{equation} $$
2つの式を見比べると、違いは分散を群ごとに $n_i$ で割ってから足すか、先に混ぜてから割るかだけです。等分散が本当に成り立っていれば両者はほぼ一致します。問題は成り立っていないときで、しかも $n_1 \neq n_2$ のときに深刻になります。
なぜ壊れるのかを数値で追う
具体例で追いましょう。$n_1 = 10$（分散9）、$n_2 = 30$（分散1）とします。小さいほうの群のばらつきが大きい状況です。
真の分散は式(4)から
$$ \frac{9}{10} + \frac{1}{30} = 0.9 + 0.0333 = 0.9333 $$
一方、Studentが見積もる分散は、まず式(2)にあてはめると
$$ s_p^2 = \frac{9 \times 9 + 29 \times 1}{38} = \frac{110}{38} = 2.8947 $$
これを式(3)の中身に代入すると
$$ 2.8947 \times \left(\frac{1}{10} + \frac{1}{30}\right) = 2.8947 \times 0.1333 = 0.3860 $$
真の値0.9333に対して0.3860 — 41.4%しか見積もれていません。標準誤差にすると $\sqrt{0.414} = 0.643$ 倍、つまりStudentは分母を約36%小さく見積もります。検定統計量は分母で割った値ですから、tが1.55倍に水増しされるわけです。これでは棄却しすぎになるのが当然です。
逆に $n_1 = 10$（分散1）、$n_2 = 30$（分散9）と、小さいほうの群のばらつきが小さい場合はどうなるか。同じ計算をすると真の分散0.4000に対してStudentの見積りは0.9474、つまり2.37倍の過大評価になり、標準誤差は1.54倍に膨らみます。今度は棄却しなさすぎです。
大きい標本のほうに大きい分散が偏っていれば保守的に、小さい標本のほうに大きい分散が偏っていれば危険側に振れる — これが等分散仮定の壊れ方です。
実測で確かめる
理屈が正しいかを、$H_0$ が真（2群の母平均が等しい）のデータを20000回生成して確かめます。本当に差がないのですから、5%の有意水準で棄却される割合は5%になるはずです。
予測どおりの結果です。分散比が1（等分散）のときは両者とも4.8〜5.0%で正しく5%を守っていますが、分散比が開くにつれてStudentだけが崩れます。左の図（小標本側の分散が小さい）では分散比9でStudentが0.4%まで落ち込み、本来検出できるはずの差を見逃す保守的すぎる検定になります。右の図（小標本側の分散が大きい）ではもっと深刻で、分散比2ですでに9.7%、分散比9では21.0% — 5%のつもりで検定して、実際には5回に1回以上「差がある」と誤って結論してしまいます。
対してWelchは、どの分散比でも4.9〜5.2%の範囲に収まり続けています。等分散が成り立っていても失うものはほとんどありません（分散比1でStudent 4.8%に対しWelch 5.0%）。得られる保険の大きさに比べて保険料がほぼゼロというのが、Welchを既定値にすべき理由です。
Welchが自由度で払う「保険料」
Welchが分散比によらず5%を守れるのは、標準誤差を正しく見積もるだけでなく、自由度も調整しているからです。Welch–Satterthwaiteの式は
$$ \begin{equation} \nu \approx \frac{\left(\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}\right)^2}{\dfrac{(s_1^2/n_1)^2}{n_1 – 1} + \dfrac{(s_2^2/n_2)^2}{n_2 – 1}} \end{equation} $$
複雑に見えますが、意味は素直です。分子は標準誤差の2乗を2乗したもの、分母は各群の寄与の2乗を各群の自由度で割って足したもので、全体として「どちらの群が標準誤差を支配しているか」に応じた実効的な自由度を返します。
先ほどの例（$n_1=10$ 分散9、$n_2=30$ 分散1）に代入すると $\nu \approx 9.67$。総サンプル数は40なのに、自由度は小さいほうの群の $n_1 – 1 = 9$ とほぼ同じです。ばらつきの大きい群が10個しかない以上、実質的にその10個分の情報しかないとWelchは正しく認識しているわけです。逆のケース（$n_1=10$ 分散1、$n_2=30$ 分散9）では $\nu \approx 37.96$ となり、ほぼ $n_1 + n_2 – 2 = 38$ をそのまま使います。
この自由度の調整が「保険料」の実体です。等分散のときWelchの自由度はStudentよりわずかに小さくなり、その分だけ検出力がごくわずか落ちます。しかし先ほどの実測が示すとおり、その差は無視できる大きさです。
ここまで読んで、「では等分散かどうかを検定してから決めればいいのでは」と思った方もいるでしょう。実はその手続きにも落とし穴があります。
「等分散検定してから選ぶ」の落とし穴
2段階手続きという発想
多くの統計ソフトや入門書は、次のような手続きを勧めます。
- まずLevene検定（またはF検定）で等分散かどうかを検定する
- 等分散が棄却されなければStudentのt検定、棄却されればWelchのt検定を使う
一見合理的です。データに聞いてから決めるのだから、どちらの状況にも対応できそうに見えます。しかしこの手続き全体を1つの検定と見たとき、第一種の過誤率は5%になりません。
理由は2つあります。第一に、前段のLevene検定にも検出力の限界があり、小標本では分散が本当に違っていても等分散を棄却できないことが多い。すると「等分散でないのにStudentを選ぶ」ケースが残ります。第二に、前段の結果によって後段の手法を切り替えるという行為そのものが、全体の分布を歪めます。前段が「等分散」と判定するかどうかは、まさに標本分散の大小に依存しており、後段の検定統計量と相関しているからです。
実測
こちらも $H_0$ が真のデータで20000回ずつ確かめます。
2段階手続き（オレンジ）は確かにStudent単独（赤）よりはマシです。右の図では分散比9でStudentの21.4%に対し2段階は6.4%まで抑えられています。しかし名目の5%に戻せているわけではありません。右の図の分散比2・4ではそれぞれ8.6%・8.7%と、依然として5%の1.7倍以上あります。左の図でも分散比2〜9で3.3〜4.2%と5%を下回り、こちらは保守的にずれています。
一方、最初からWelch一本（緑）は8つの条件すべてで4.7〜5.3%に収まっています。2段階の判断を挟むよりも、判断を挟まずWelchに固定するほうが正確という、直感に反するがはっきりした結論です。前段の検定は「データに聞く」ように見えて、実際には第一種の過誤率を予測不能な方向にずらす追加の不確実性を持ち込んでいます。
同じ論法は他の場面にも当てはまります。「正規性検定をしてからt検定かノンパラかを決める」という手続きも、まったく同じ理由で名目の水準を保証しません。検定の前段に検定を置く設計そのものが問題なのです。
では正規性はどう扱えばよいのでしょうか。次節で見ていきます。
正規性はどう確かめるか
検定ではなく目で見る
正規性検定（シャピロ・ウィルク検定やコルモゴロフ・スミルノフ検定）には、手続きを歪める問題に加えて、標本サイズに対する挙動が実用に向かないという難点があります。
- 標本が小さいとき（$n < 20$ 程度）: 検出力が低く、はっきり非正規な分布でも棄却されない。正規性が最も心配な場面で最も役に立たない
- 標本が大きいとき（$n > 500$ 程度）: 検出力が高すぎて、実用上どうでもいい微小なずれでも棄却される。t検定が十分頑健な場面で警告を出す
つまり正規性検定は、必要なときに黙り、不要なときに騒ぐという逆の性質を持っています。実務ではQQプロット（分位点プロット）で目視するほうが有用です。
QQプロットは、標本を小さい順に並べた値（標本の分位点）を縦軸に、正規分布から期待される同じ順位の値（理論分位点）を横軸に取った散布図です。標本が正規分布に従っていれば、点は直線に並びます。単に「正規かどうか」の二択ではなく、どの方向にどれくらいずれているかが読み取れるのが利点です。
4つの典型的なずれ方を $n=60$ で描きました。左端の正規分布では点が直線に沿って並び、シャピロ・ウィルク検定のp値も0.948と正規性を否定しません。2番目の対数正規分布は右上だけが跳ね上がり、右に長い裾を持つことが一目で分かります（p=0.000）。3番目の $t_3$ 分布は両端が直線から外側に離れ、外れ値が出やすい裾の重い分布であることを示しています（p=0.001）。右端の一様分布は逆に両端が内側に折れ、裾が短いことを示します（p=0.008）。
このように、ずれの「形」が読めることが重要です。というのも、次に見るようにt検定は裾が重いだけのずれには強く、歪みには弱いという非対称な性質を持っているため、ずれの向きが分かれば対処が決まるからです。
正規性の崩れ方が見えたところで、それが実際どれくらい問題になるのかを実測しましょう。
t検定は非正規性にどこまで耐えるか
中心極限定理が効く範囲
t検定が要求するのは、厳密には「データが正規分布に従うこと」ではなく「標本平均が正規分布に従うこと」です。中心極限定理により、標本平均は元の分布が何であれ $n$ が大きくなるにつれて正規分布に近づきます。だからt検定は多少の非正規性には耐えられるはずです。
問題は「$n$ がいくつなら十分か」で、これは元の分布の歪み方に依存します。実測してみましょう。$H_0$ が真（母平均がゼロ）のデータで、両側5%の1標本t検定を各20000回実行します。
分布ごとにはっきり性格が分かれました。正規分布（緑）は当然どの $n$ でも4.9〜5.3%で正確です。一様分布（青）は $n=5$ で6.7%とやや高いものの、$n=20$ には5.0%に戻ります。$t_3$ 分布（紫）は裾が重いにもかかわらず $n=5$ で3.7%とむしろ保守的で、危険側には振れません。
危ないのは歪んだ分布です。指数分布（オレンジ）は $n=5$ で11.8%、$n=30$ でもまだ7.5%、$n=50$ で6.3%。対数正規分布（赤）に至っては $n=5$ で18.2%、$n=50$ でもなお10.1% — 名目の2倍です。
この結果から実務的な指針が引き出せます。
- 裾が重いだけ（外れ値が出やすいが左右対称）なら、t検定の第一種の過誤は守られる。ただし後述するように検出力は落ちる
- 左右非対称な歪みがあるなら、$n=50$ 程度では足りない。t検定は使わないか、対数変換などで歪みを取ってから使う
- 「$n \geq 30$ なら中心極限定理で大丈夫」という広く流布した目安は、歪んだ分布には通用しない
歪みが強いと判断したら、順位に基づく検定への切り替えを検討します。ただしその切り替えにも代償があります。
ノンパラメトリック検定への切り替え基準と代償
何を捨てて何を得るのか
ノンパラメトリック検定は、データの実際の値ではなく順位だけを使います。マン・ホイットニーのU検定なら、2群のデータを混ぜて小さい順に並べ、各群の順位和を比べます。値そのものを捨てるので分布の形の仮定が要らなくなる代わりに、値が持っていた情報の一部を失います。
一般に「ノンパラは検出力が落ちるので、正規性が確認できるならパラメトリックを使うべき」と言われます。これは半分正しく、半分ミスリードです。実測で確かめましょう。各群 $n=25$、2群のずれ $\delta$ を変えながら、Welchのt検定とマン・ホイットニーのU検定の検出力（正しく棄却できる割合）を10000回ずつ測ります。
3つのシナリオで結果がまったく違います。
正規分布（左）ではt検定がわずかに上回ります。$\delta = 0.6$ でt検定54.5%に対しU検定51.5%、$\delta = 0.8$ で78.5%対75.8% — 差は3ポイント程度にすぎません。理論上、正規分布におけるU検定の漸近相対効率は $3/\pi \approx 0.955$ で、これは「t検定の $n$ 個に対しU検定は約 $n/0.955$ 個必要」という意味です。$n=25$ なら1〜2個分の差でしかありません。正規でもノンパラを使ったときの損失は、一般に思われているより小さいのです。
$t_3$ 分布（中央）では逆転します。$\delta = 0.8$ でt検定43.9%に対しU検定56.9%、$\delta = 1.0$ で61.0%対75.7%。裾が重い分布では、少数の外れ値が標本平均と標本分散の両方を暴れさせるため、t検定の検出力が削られます。順位しか見ないU検定は外れ値の影響を受けません。
対数正規分布（右）では差が決定的になります。$\delta = 0.4$ でt検定12.3%に対しU検定35.9%、$\delta = 1.0$ で49.6%対90.2%。ほぼ2倍近い開きです。
切り替えの判断基準
以上をまとめると、実務的な切り替え基準は次のようになります。
- QQプロットで直線に沿っている → パラメトリック検定。ノンパラでもよいが、わずかに損
- 裾が重い／外れ値が目立つ → ノンパラのほうが検出力で有利。切り替える
- 明らかに歪んでいる → ノンパラに切り替える。あるいは対数変換など、歪みを取る変換を検討する
- 標本が非常に小さい（$n < 10$ 程度） → 分布の形を判断する材料がない。順位検定か並べ替え検定のほうが安全
「ノンパラは最後の手段」という位置づけは実測に照らして正確ではありません。正規性に自信が持てないなら、失うものは小さく、得るものは大きい選択です。
ただし1点だけ注意があります。U検定が比べているのは厳密には平均ではなく「片方の群の値がもう片方より大きくなる確率」です。したがって「平均の差」を報告したい場合は、U検定の結果と併せて効果量や信頼区間を別途示す必要があります。
分布の形についてはここまでとして、次はもっと基本的な、しかし見落とされやすい分岐に移ります。
対応の有無を取り違えない
対応があると標準誤差が変わる
同じ人・同じ装置・同じ試料を2回測った場合、2つの測定値は対応（ペア）を持ちます。この場合、正しい扱い方はペアごとに差を取り、その差の1群に対して検定することです。
なぜ差を取ることが有利なのか。式で追いましょう。前後の測定値を $X, Y$、その相関を $\rho$、標準偏差をそれぞれ $\sigma$ とします。差 $D = Y – X$ の分散は、共分散の項を含む一般の公式から
$$ \begin{equation} \mathrm{Var}(D) = \sigma^2 + \sigma^2 – 2\rho\sigma^2 = 2\sigma^2(1 – \rho) \end{equation} $$
ここで $\rho$ が正、つまり「もともと高い人は後でも高い」という個人差の一貫性があると、$1 – \rho$ が小さくなり差のばらつきが元のばらつきより小さくなります。$n$ ペアの平均差の標準誤差は $\sigma\sqrt{2(1-\rho)/n}$ です。
一方、対応を無視して独立2標本として扱うと、共分散の項が消えて
$$ \mathrm{Var}(\bar{Y} – \bar{X}) = \frac{\sigma^2}{n} + \frac{\sigma^2}{n} = \frac{2\sigma^2}{n} $$
つまり標準誤差は $\sigma\sqrt{2/n}$ です。両者の比を取ると、対応を無視したときは標準誤差を $1/\sqrt{1-\rho}$ 倍に膨らませていることになります。$\rho = 0.6$ なら1.58倍、$\rho = 0.8$ なら2.24倍、$\rho = 0.9$ なら3.16倍です。検定統計量はこの分母で割った値ですから、そのまま検出力の損失になります。
実測
$n = 20$ ペア、真の差 $\delta = 0.4$（標準偏差1に対して）で、前後の相関 $\rho$ を変えながら検出力を10000回ずつ測りました。
左の図で、2本の曲線が正反対に動いています。正しく対応のあるt検定を使えば、相関が上がるほど検出力が上がり、$\rho = 0.6$ で47.2%、$\rho = 0.8$ で76.6%、$\rho = 0.9$ で96.6%に達します。ところが同じデータに独立2標本t検定を使うと、相関が上がるほど検出力が下がり、$\rho = 0.8$ で7.9%、$\rho = 0.9$ ではついに4.5% — 有意水準5%とほぼ同じ、つまりまったく差を検出できない状態になります。
$\rho = 0.8$ で比べると76.6%対7.9%。同じデータ、同じ真の差なのに、検定の選択だけで検出力が10分の1近くまで落ちます。相関が高い（=ペアリングが効いている）ときほど損失が大きくなるのが、この失敗の残酷なところです。
右の図がその仕組みを見せています。個人ごとの水準は大きくばらついており（群の標準偏差2.46）、点だけを見れば前後の分布はほとんど重なっています。しかし各個人を結ぶ線に注目すると、ほぼ全員が同じくらい上に動いています。差の標準偏差はわずか0.41 — 群のばらつきの6分の1です。実際、このデータに対応のあるt検定を使うと p = 3.9×10⁻⁴ で明確に有意ですが、誤って独立t検定を使うと p = 0.62 でまったく有意になりません。
なお左の図の $\rho = 0$ の点では、対応ありが22.3%、独立が23.0%とわずかに独立のほうが高いことに注目してください。相関がないとき、ペアリングは何の利益も生まない一方で自由度を $2n – 2 = 38$ から $n – 1 = 19$ に半減させるため、そのぶん損をします。ただしこれは実験計画の話であって、すでに対応のあるデータを取ってしまった以上、それを独立として扱ってよい理由にはなりません。対応の有無はデータの構造が決めるものであり、解析者が選べるものではないからです。
対応の見落としは、次のような場面で起きがちです。
- 同じ被験者に2つの条件を試したのに、条件ごとにデータを分けて独立2群として集計した
- 同じ測定装置で処理前後を測ったのに、「前のデータ群」「後のデータ群」として比較した
- 対になるべきデータの一部が欠測しており、欠測を除かずに全体を独立扱いした
いずれもデータの並べ方の段階で決まってしまうミスです。集計表を作る時点で「この行とこの行は同じ対象か」を確認する習慣をつけるのが、最も確実な予防策です。
検定の選択に関する主要な論点は以上です。最後に、選択とは別の次元で結果を壊す手続き上の問題を扱います。
片側検定の後出しと途中集計
手順の型を守らないと選択が無意味になる
どれだけ適切な検定を選んでも、手順の順序を守らなければ第一種の過誤率は保証されません。特に頻繁に起きるのが次の2つです。
片側検定の後出し: データを見て「平均が上がっているようだ」と分かってから、「上がることを検証したかったので片側検定を使う」とすること。棄却域の図で見たとおり、片側にすれば臨界値は $t = 2.086$ から $1.725$ に下がり、棄却しやすくなります。しかも観測された方向に合わせて選ぶので、必ず有利な方向の片側を選ぶことになります。
途中集計（のぞき見）: データを集めながら定期的に検定し、有意になった時点で止めること。1回1回の検定は正しくても、「何度か試して1回でも有意になれば止める」という手続き全体では、有意になる確率が積み上がります。
どちらも $H_0$ が真のデータで実測しました。
左の図では、両側検定が4.64%、事前に方向を決めた片側検定が4.77%と、どちらも正しく5%付近です。ところがデータを見てから方向を決めた片側検定は9.51% — ちょうど2倍です。これは必然で、$H_0$ のもとでは差の方向が正負どちらにも等確率で出るため、常に観測された側の片側を選べば、両側検定で5%が割り当てられていた両端をどちらも「片側5%」として使えてしまうからです。
右の図はのぞき見の代償です。20人ごとに途中集計しながら最大100人まで集めた場合、一度でも有意になる確率は20人時点で4.9%（1回目なので正しい）、40人時点で8.5%、60人時点で10.7%、80人時点で12.8%、100人時点で14.4%まで積み上がります。5回のぞき見しただけで、名目5%の検定が実質14%の検定になってしまいます。
対処は単純で、ステップ1と2をデータを見る前に済ませ、書き残しておくことです。片側にするなら理由とともに事前に決める。標本サイズは効果量から事前に見積もり、その数に達するまで集計しない。途中で見る必要がある場合は、群逐次デザインなど途中解析を前提とした方法を使い、水準を調整します。複数の検定を行うときの調整については多重比較を、p値そのものの扱いについてはp値の記事を参照してください。
ここまでの内容を、実施前に確認できる形にまとめます。
実施前チェックリスト
検定を実行する前に確認すべき項目を1枚にまとめました。
4つの区分のうち、①②③はデータを分析する前に確定させておく項目です。特に①は、後から取り繕うことが原理的にできません。有意水準や片側／両側を結果を見てから決めれば、その時点で第一種の過誤率の保証は失われ、どんな事後的な説明でも回復しません。
④だけは結果が出てから確認する項目ですが、ここも軽視できません。p値だけを報告して効果量と信頼区間を書かないと、「統計的に有意だが実質的には無意味な差」と「有意でないが実は大きな差があるかもしれない」を読者が区別できなくなります。効果量と検出力の設計を併せて行うのが望ましい形です。
このチェックリストと最初のフローチャートを手元に置いておけば、検定を選ぶときと実行するときの両方で判断に迷う場面が大きく減るはずです。
まとめ
本記事では、仮説検定を「どれを選び、どう実施するか」という道案内の視点から整理しました。
- 検定は4つの質問で選ぶ — 尺度 → 群数 → 対応の有無 → 分布の形の順。最初の3つは実験計画で確定しており、判断が要るのは最後だけ。分布の形から考え始めると必ず迷う
- 手順の型はどの検定でも同じ — 仮説と有意水準と片側／両側をデータを見る前に決め、統計量を計算し、帰無分布と比べる
- 独立2群の既定値はWelchのt検定 — 分散比9のとき、Studentの第一種の過誤率は条件によって0.4%〜21.0%まで暴れるのに対し、Welchは4.9〜5.2%を保つ。等分散のときの損失はほぼゼロ
- 「等分散検定してから選ぶ」は名目水準を保証しない — 2段階手続きの実測は3.3〜8.7%と5%からずれる。Welch一本のほうが正確（4.7〜5.3%）
- 正規性は検定でなくQQプロットで見る — 正規性検定は小標本で鈍く大標本で過敏。QQプロットならずれの「向き」まで読める
- t検定は裾の重さには強く歪みには弱い — $t_3$ 分布では $n=5$ でも3.7%と保守的。一方、対数正規分布では $n=50$ でも10.1%と名目の2倍。「$n \geq 30$ なら安心」は歪んだ分布には通用しない
- ノンパラへの切り替えの代償は小さい — 正規分布での損失はわずか3ポイント程度。$t_3$ では43.9%対56.9%、対数正規では49.6%対90.2%とU検定が大きく上回る
- 対応の取り違えは最も高くつく — $\rho = 0.8$ のとき対応のあるt検定76.6%に対し、誤って独立t検定を使うと7.9%。相関が高いほど損失が大きい
- 手順を守らなければ選択も無意味 — 後出しの片側検定は過誤率を9.51%（名目の2倍）に、5回のぞき見は14.4%（名目の約3倍）にする
個々の検定の理論と実装は、以下の記事で詳しく扱っています。