100万件のセンサーログから、ある故障率 $\theta$ を推定したいとします。推定のために本当に100万個の数値すべてをディスクに保管し続けないといけないのでしょうか。実は多くの場合、「異常が起きた回数」というたった1つの数字さえ覚えておけば、生ログを全部捨てても $\theta$ の推定精度はまったく落ちません。この「パラメータ推定に必要な情報を漏らさず握っている要約量」こそが十分統計量（sufficient statistic） です。
十分統計量は統計学の屋台骨です。応用は広く、たとえば(1)推定量の改善——ラオ・ブラックウェルの定理を使えば、適当に作った推定量を十分統計量で条件付けるだけで分散を減らせます。(2)データ圧縮とストリーミング処理——逐次的に届くデータを十分統計量だけで更新すれば、メモリを固定したまま全データ相当の推定ができます。指数型分布族の理論、ベイズ統計の共役性、一般化線形モデルの裏側にも、必ず十分統計量が顔を出します。
本記事の内容
- 十分統計量の直感（データ圧縮）と厳密な定義
- フィッシャー・ネイマンの分解定理の導出と意味
- 正規・ベルヌーイ・ポアソンでの具体的な十分統計量
- 最小十分統計量と完備性、ラオ・ブラックウェルの定理
- 指数型分布族と十分統計量の深い関係
- Pythonで「同じ $T$ なら尤度・推定が完全一致する」ことを数値検証
前提知識
この記事を読む前に、以下の記事を読んでおくと理解が深まります。
十分統計量とは — データ圧縮の視点
まず統計学の現場でよくある場面を思い浮かべてください。手元に $n$ 個の観測 $x_1, x_2, \dots, x_n$ があり、これらは未知のパラメータ $\theta$ を持つある分布から独立に得られたとします。私たちのゴールは $\theta$ を推定することです。
ここで素朴な疑問が湧きます。「推定のために、$n$ 個の数値を全部覚えておく必要が本当にあるのか？」 たとえばコイン投げを100回やったとき、表が出る確率 $\theta$ を推定するのに、毎回の表裏の並び順（HTTHTHH…）まで記録する必要があるでしょうか。直感的には、表が出た合計回数さえ分かれば十分な気がします。並び順を変えても $\theta$ の推定値は変わらないはずだからです。
この「直感的に十分そう」を数学的に厳密にしたのが十分統計量です。下の図は、その精神を表しています。
左の生データ $x_1, \dots, x_n$ は情報が $n$ 個の数値に散らばっています。これを統計量 $T(\bm{x})$ で1つ（または少数）の数値に圧縮します。十分統計量であれば、この圧縮の過程で「$\theta$ の推定に役立つ情報」は一切失われません。だから図の右側、$\theta$ の推定に進むとき、生データを捨てて $T$ だけ持っていても困らないのです。
ここで「統計量」という言葉を確認しておきましょう。統計量とは、観測データだけから計算できる量 $T = T(x_1, \dots, x_n)$ のことです。標本平均 $\bar{x}$、標本分散、最大値、合計 $\sum x_i$ などはすべて統計量です。重要なのは統計量は $\theta$ を含まないこと。$\theta$ は未知なので、データから計算する量に $\theta$ が入っていてはいけません。
十分統計量とは、数ある統計量の中でも特別なものです。「$T$ の値さえ与えられれば、もとの生データ $\bm{x}$ がどんな並びだったかを追加で知っても、$\theta$ について新しい情報は何も得られない」——これが十分性の核心です。逆に言えば、$T$ を計算した時点で $\theta$ に関する情報はすべて吸い上げられている、ということです。
では、この「情報を漏らさず吸い上げている」という曖昧な言い方を、確率の言葉できちんと定義しましょう。
十分統計量の数学的定義
十分性の本質は「$T$ を知った後は、生データ $\bm{x}$ の細かい中身が $\theta$ について何も語らない」ことでした。これを確率で表現すると、次のように言えます。$T$ の値を固定したときの、データ $\bm{x}$ の条件付き分布が、$\theta$ にまったく依存しない。
正式な定義を述べます。データ $\bm{x} = (x_1, \dots, x_n)$ がパラメータ $\theta$ の分布に従うとき、統計量 $T(\bm{x})$ が $\theta$ に対する十分統計量 であるとは、$T = t$ を与えたときの $\bm{x}$ の条件付き分布
$$ p(\bm{x} \mid T(\bm{x}) = t,\ \theta) $$
が $\theta$ に依存しない（$\theta$ を含まない）ことをいいます。
この定義の気持ちを噛みくだきましょう。もし条件付き分布が $\theta$ を含んでいたら、「$T$ を知ったうえで、さらに生データの並びを観察すれば $\theta$ の手がかりが増える」ことになります。つまり $T$ は情報を取りこぼしている。逆に条件付き分布が $\theta$ を含まないなら、「$T$ を知った後で生データを見ても、$\theta$ について新しいことは何も分からない」。これがまさに「$T$ で情報を完全に握っている」状態です。
直感的なたとえを使いましょう。$T$ を知ることは「箱の中身の総量を量る」ことに相当します。十分統計量なら、総量さえ量れば、箱の中で品物がどう並んでいるか（生データの詳細）は $\theta$ の推定にとってどうでもよい。並びはサイコロを振って決めたようなランダムなものにすぎず、$\theta$ とは無関係——それを表すのが「条件付き分布が $\theta$ に依存しない」という条件です。
この定義は美しいのですが、実際に使うには厄介です。条件付き分布を毎回計算して「$\theta$ が消えるか」を確かめるのは、分布が複雑だと大変な作業になります。そこで登場するのが、もっと機械的に十分性を判定できる強力な道具——フィッシャー・ネイマンの分解定理です。
フィッシャー・ネイマンの分解定理
定理の主張
条件付き分布をいちいち計算しなくても、尤度関数の形を見るだけで十分統計量かどうかを判定できる。それがフィッシャー・ネイマン（Fisher-Neyman）の分解定理です。これは十分統計量の理論で最も実用的な定理です。
分解定理: 統計量 $T(\bm{x})$ が $\theta$ に対する十分統計量であるための必要十分条件は、同時密度（尤度）が次の形に分解できることである。
$$ > p(\bm{x} \mid \theta) = g\big(T(\bm{x}),\ \theta\big)\, h(\bm{x}) > $$
ここで $g$ は「$T(\bm{x})$ と $\theta$ の関数」、$h$ は「$\bm{x}$ だけの関数（$\theta$ を含まない）」です。下の図がこの分解の構造を表しています。
図の心は単純です。尤度を眺めて、$\theta$ を含む部分（緑の $g$）の中でデータが現れるのは $T(\bm{x})$ という形だけなら、$T$ は十分統計量です。残りの $h(\bm{x})$ は $\theta$ をまったく含まないので、$\theta$ の推定には1ミリも寄与しません。つまり「$\theta$ とデータのやり取りは必ず $T$ という窓口を通る」——これが十分性の正体です。
証明（離散の場合）
なぜこの分解が十分性と同値なのかを確かめましょう。ここでは離散分布で証明します。ゴールは「分解できる $\Leftrightarrow$ 条件付き分布が $\theta$ に依存しない」を示すことです。
まず 分解できる $\Rightarrow$ 十分 の向きから示します。尤度が $p(\bm{x}\mid\theta) = g(T(\bm{x}),\theta)\,h(\bm{x})$ と分解できると仮定します。$T = t$ を与えたときの条件付き確率を定義どおり書くと、
$$ p(\bm{x} \mid T = t,\ \theta) = \frac{p(\bm{x},\ T=t \mid \theta)}{p(T = t \mid \theta)} $$
です。分子は、$T(\bm{x}) = t$ のとき $p(\bm{x}\mid\theta)$ そのもの、$T(\bm{x}) \neq t$ のときゼロです。$T(\bm{x}) = t$ のケースを考え、分子に分解を代入すると、
$$ p(\bm{x},\ T=t \mid \theta) = g(t,\theta)\, h(\bm{x}) $$
となります（$T(\bm{x})=t$ なので $g(T(\bm{x}),\theta)=g(t,\theta)$）。次に分母を計算します。分母は $T(\bm{y})=t$ を満たすすべての $\bm{y}$ について分子を足し合わせたものなので、
$$ p(T = t \mid \theta) = \sum_{\bm{y}:\, T(\bm{y})=t} g(t,\theta)\, h(\bm{y}) = g(t,\theta) \sum_{\bm{y}:\, T(\bm{y})=t} h(\bm{y}) $$
と書けます。ここで $g(t,\theta)$ は $\bm{y}$ に依存しないので和の外に出せます。これらを条件付き確率の式に代入すると、
$$ p(\bm{x} \mid T = t,\ \theta) = \frac{g(t,\theta)\, h(\bm{x})}{g(t,\theta) \sum_{\bm{y}:\, T(\bm{y})=t} h(\bm{y})} = \frac{h(\bm{x})}{\sum_{\bm{y}:\, T(\bm{y})=t} h(\bm{y})} $$
となります。最後の分数を見てください。$g(t,\theta)$ が分子分母で見事に相殺し、残ったのは $h$ だけの式です。$h$ は $\theta$ を含みません。よって条件付き分布は $\theta$ に依存しない——これは十分統計量の定義そのものです。
逆向き 十分 $\Rightarrow$ 分解できる も示せます。$T$ が十分なら、条件付き分布 $p(\bm{x}\mid T=t)$ は $\theta$ に依存しないので、これを $h(\bm{x})$ と呼ぶことにします（$T(\bm{x})=t$ で決まる定数倍を含めて整理できます）。すると尤度は
$$ p(\bm{x}\mid\theta) = p(\bm{x}\mid T=t)\, p(T=t\mid\theta) = h(\bm{x})\, g(t,\theta) $$
と書け、$t = T(\bm{x})$ を代入すれば $g(T(\bm{x}),\theta)\,h(\bm{x})$ の形になります。これで両向きが示せ、分解定理が証明できました。
要点を一文でまとめると、尤度を「$T$ と $\theta$ の塊」×「データだけの塊」に割れるかどうかで、十分性が機械的に判定できるということです。条件付き分布を計算する必要はもうありません。
この強力な道具を手に入れたので、さっそく代表的な分布で十分統計量を見つけていきましょう。
具体例：ベルヌーイ・正規・ポアソン
ベルヌーイ分布
冒頭のコイン投げに戻ります。各 $x_i \in \{0, 1\}$ が表（1）の確率 $\theta$ のベルヌーイ分布に従うとき、$n$ 回の試行の尤度は
$$ p(\bm{x}\mid\theta) = \prod_{i=1}^{n} \theta^{x_i}(1-\theta)^{1-x_i} = \theta^{\sum x_i}(1-\theta)^{n – \sum x_i} $$
です。指数の肩に $\sum x_i$ が現れたことに注目しましょう。これを分解定理の形に当てはめると、
$$ p(\bm{x}\mid\theta) = \underbrace{\theta^{\,T}(1-\theta)^{n-T}}_{g(T,\theta)} \cdot \underbrace{1}_{h(\bm{x})}, \qquad T = \sum_{i=1}^n x_i $$
となります。$\theta$ を含む部分にデータが現れるのは $T = \sum x_i$ という形だけ。$h(\bm{x}) = 1$ で $\theta$ を含みません。したがって $T = \sum x_i$（表の合計回数）はベルヌーイ分布の十分統計量 です。並び順を表す情報はどこにも残っていません。
これを数値で確認したのが下の図です。
左の図は、$n=8$ で表の合計が $k=5$ となる3つの異なる並び（11011011、01110110、11111000）について、規格化した尤度関数を描いたものです。3本の曲線は完全に重なっています。並び順がどれだけ違っても、$\sum x_i = 5$ が同じなら尤度の形は寸分違わない——これが十分性の目に見える証拠です。右の図は逆に $k$ を $2, 4, 6$ と変えたもので、$k$ が変わると尤度のピーク位置（最尤推定値 $k/n$）が動きます。つまり $\theta$ についての情報を運んでいるのは、並びではなく $k = \sum x_i$ だけだと分かります。
正規分布
次に正規分布 $N(\mu, \sigma^2)$ を考えます。平均 $\mu$ も分散 $\sigma^2$ も未知とします。$n$ 個の標本の尤度は
$$ p(\bm{x}\mid\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) $$
です。指数の中の和を展開していきましょう。まず $\sum_i (x_i – \mu)^2$ を展開すると、
$$ \sum_{i=1}^n (x_i – \mu)^2 = \sum_{i=1}^n x_i^2 – 2\mu \sum_{i=1}^n x_i + n\mu^2 $$
となります。ここで $\sum x_i^2$ と $\sum x_i$ が現れました。これを尤度に戻すと、
$$ p(\bm{x}\mid\mu,\sigma^2) = (2\pi\sigma^2)^{-n/2}\exp\!\left(-\frac{1}{2\sigma^2}\Big(\textstyle\sum x_i^2 – 2\mu\sum x_i + n\mu^2\Big)\right) $$
と書けます。指数の中でデータが現れるのは $\sum x_i$ と $\sum x_i^2$ の2つだけです。よって分解定理より、
$$ T(\bm{x}) = \left(\sum_{i=1}^n x_i,\ \sum_{i=1}^n x_i^2\right) $$
が正規分布の十分統計量です（$g$ がこの2つと $\mu,\sigma^2$ の関数、$h(\bm{x})=1$）。生データ $n$ 個を、たった2つの数値に圧縮できるわけです。標本平均と標本分散は、この $(\sum x_i, \sum x_i^2)$ の関数として書けるので、これらも十分統計量から復元できます。
左の図は、$\sigma^2$ 既知のもとで $\mu$ の対数尤度を、生データから直接計算した曲線（太いグレー）と、$(\sum x, \sum x^2)$ から $\sum(x-\mu)^2 = \sum x^2 – 2\mu\sum x + n\mu^2$ で再構成した曲線（赤の破線）で比べたものです。2本は完全に一致しています。生データを捨てて2つの和だけ持っていても、尤度はピッタリ復元できると確認できます。右の図は2000個の標本それぞれで $(\sum x, \sum x^2)$ を計算した散布図で、十分統計量が2次元の点として分布する様子を示しています。
ポアソン分布
ポアソン分布 $\mathrm{Po}(\lambda)$ でも見ておきましょう。各 $x_i$ が確率質量 $p(x\mid\lambda)=\frac{\lambda^x e^{-\lambda}}{x!}$ に従うとき、尤度は
$$ p(\bm{x}\mid\lambda) = \prod_{i=1}^n \frac{\lambda^{x_i}e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i}\, e^{-n\lambda}}{\prod_i x_i!} $$
です。これを分解すると、
$$ p(\bm{x}\mid\lambda) = \underbrace{\lambda^{\,T}e^{-n\lambda}}_{g(T,\lambda)} \cdot \underbrace{\frac{1}{\prod_i x_i!}}_{h(\bm{x})}, \qquad T = \sum_{i=1}^n x_i $$
となります。$\lambda$ を含む部分にデータが現れるのは $T=\sum x_i$ だけ、$h(\bm{x})=1/\prod x_i!$ は $\lambda$ を含みません。したがって $T=\sum x_i$ はポアソン分布の十分統計量 です。ここで重要なのは、$h(\bm{x})$ が $1$ でなくても（$\theta$ を含まない限り）かまわないという点です。$h$ はデータの好きな関数でよく、十分性の判定には影響しません。
ベルヌーイ・正規・ポアソンと見てきて、いずれも「和」が十分統計量の主役でした。これは偶然ではなく、後で見る指数型分布族という共通の構造から来ています。
ところで、ここまで「十分統計量」と呼んできましたが、十分統計量は1つに決まるわけではありません。たとえば生データ $\bm{x}$ そのものも（自明に）十分統計量ですし、$(\sum x_i, \sum x_i^2, x_1)$ のように余計な情報を足したものも十分です。では「ちょうど良い」十分統計量とは何でしょうか。次にこの問いを考えます。
最小十分統計量
十分統計量にはレベルがあります。生データそのものは何でも復元できるので十分ですが、まったく圧縮できていません。逆に圧縮しすぎると情報を失い、十分でなくなります。その境界ギリギリ、十分性を保ったまま最も粗く（次元を低く）圧縮した統計量を 最小十分統計量（minimal sufficient statistic） と呼びます。
直感的には、最小十分統計量は「これ以上削ると $\theta$ の情報が漏れてしまう」限界の要約です。正規分布なら $(\sum x_i, \sum x_i^2)$ がそれにあたります。これより削って $\sum x_i$ だけにすると、分散 $\sigma^2$ の情報が失われて十分でなくなります。
この図は統計量の「粗さの階層」を表しています。上から、生データ（最も細かい、完全な情報）、冗長な十分統計量（例: $(\sum x, \sum x^2, x_1)$ のように余分を含む）、最小十分統計量（十分性を保つ最も粗い圧縮）、そして粗すぎる統計量（例: 最大値だけ、もう十分でない）。赤い破線が「十分性の境界」で、これを越えて圧縮すると情報が漏れます。最小十分統計量はちょうどこの境界の上にある「ベストな圧縮」です。
最小十分統計量には便利な特徴づけがあります。任意の2つのデータ $\bm{x}, \bm{y}$ について、尤度比
$$ \frac{p(\bm{x}\mid\theta)}{p(\bm{y}\mid\theta)} $$
が $\theta$ に依存しない（定数になる）ことと、$T(\bm{x}) = T(\bm{y})$ であることが同値になるとき、その $T$ が最小十分統計量です。気持ちとしては「尤度比が $\theta$ によらず同じになるデータどうしは、$\theta$ について区別がつかないので、同じ $T$ の値に潰してよい」ということ。区別できないデータをすべて同一視した最も粗い分け方が最小十分統計量になります。
重要な性質として、どんな十分統計量も最小十分統計量の関数として書けることが知られています。最小十分統計量はすべての十分統計量の「もと」になっている、という意味で本質的なのです。
「十分性を保つ最も粗い圧縮」が最小十分統計量でした。では、推定理論にとって特に都合の良い性質をもう一つ持つ統計量があります。それが完備性です。
完備性
最小十分統計量は「これ以上圧縮できない」性質でした。完備性（completeness）は別の角度から「これ以上余計なものがない」を表す性質で、推定量の一意性を保証する鍵になります。
定義は少し抽象的です。統計量 $T$ が 完備 であるとは、$T$ の関数 $g(T)$ について
$$ E_\theta[g(T)] = 0 \quad (\text{すべての } \theta) \ \Longrightarrow\ g(T) = 0 \quad (\text{ほぼ確実に}) $$
が成り立つことをいいます。日本語に直すと、「どんな $\theta$ でも期待値が常にゼロになるような $T$ の関数は、ゼロ関数しかない」ということです。
![完備性の概念図。E[g(T)]=0が全θで成り立つならg(T)=0、そしてこれが不偏推定量の一意性を保証する](https://disassemble-channel.com/wp-content/uploads/2026/06/fig06_minimal.png)
この図は完備性の論理を示しています。左の条件「ある関数 $g$ が、すべての $\theta$ で平均ゼロ」が成り立つとき、完備であれば右の結論「$g$ 自身が恒等的にゼロ」が導かれます。なぜこれが嬉しいのでしょうか。図の下に書かれているように、完備十分統計量に基づく不偏推定量は、ただ一つに決まるからです。
論理はこうです。もし完備十分統計量 $T$ の関数である不偏推定量が2つ、$g_1(T)$ と $g_2(T)$ あったとします。両方とも不偏なので $E_\theta[g_1(T)] = E_\theta[g_2(T)] = \theta$。差をとると $E_\theta[g_1(T) – g_2(T)] = 0$ がすべての $\theta$ で成り立ちます。完備性より $g_1(T) – g_2(T) = 0$、つまり $g_1 = g_2$。2つは同じものだったのです。これは推定量の一意性を意味し、後で述べるレーマン・シェフェの定理（最良の不偏推定量を構成する定理）の核心になります。
完備性と十分性の両方を持つ「完備十分統計量」は、推定理論で特別な地位にあります。では、十分統計量が実際に推定をどう改善するのか、その具体的な威力を次に見ましょう。
ラオ・ブラックウェルの定理
十分統計量の最も劇的な応用が、ラオ・ブラックウェル（Rao-Blackwell）の定理 です。これは「どんなに下手な推定量でも、十分統計量で条件付けるだけで必ず改善（少なくとも悪化しない）できる」という、ほとんど魔法のような結果です。
ラオ・ブラックウェルの定理: $\delta(\bm{x})$ を $\theta$ の不偏推定量、$T$ を十分統計量とする。新しい推定量を $$ > \delta^*(T) = E[\delta(\bm{x}) \mid T] > $$ と定義すると、$\delta^*$ も不偏で、かつ分散は決して増えない: $$ > \mathrm{Var}_\theta(\delta^*) \leq \mathrm{Var}_\theta(\delta) \quad (\text{すべての } \theta) > $$
直感的な仕組みを説明しましょう。$\delta$ がたとえば「最初の1点 $x_1$ だけ」という乱暴な推定量だとします。これは不偏かもしれませんが、たった1点しか使わないので分散は大きい。これを十分統計量 $T$ で条件付けて平均をとると、$T$ が握っている全データの情報を使って $\delta$ を「ならす」ことになり、ばらつきが減ります。ここで $T$ が十分であることが効いています。$T$ で条件付けた期待値は $\theta$ に依存しないので、計算可能な統計量になるのです（$T$ が十分でなければ $\delta^*$ に $\theta$ が残ってしまい、推定量として使えません）。
分散が増えない理由は、条件付き期待値の分散分解（全分散の公式）
$$ \mathrm{Var}(\delta) = E[\mathrm{Var}(\delta\mid T)] + \mathrm{Var}(E[\delta\mid T]) = \underbrace{E[\mathrm{Var}(\delta\mid T)]}_{\geq 0} + \mathrm{Var}(\delta^*) $$
から分かります。右辺第1項は分散の期待値なので非負です。したがって $\mathrm{Var}(\delta) \geq \mathrm{Var}(\delta^*)$ が常に成り立ちます。条件付けで「捨てられた分散」がちょうど第1項にあたり、その分だけ $\delta^*$ は $\delta$ より良くなるわけです。
この図はポアソン分布で実際にラオ・ブラックウェル化した結果です。素朴な推定量 $\delta = x_1$（最初の1点）と、それを十分統計量 $T=\sum x_i$ で条件付けた $\delta^* = E[x_1\mid T] = T/n$（標本平均）を比べています。左のヒストグラムを見ると、$\delta^*$（青）の分布は $\delta$（グレー）よりずっと真値 $\lambda=3$ の周りに集中しています。右の棒グラフでは、両者とも平均は $\lambda$ 付近（不偏）ですが、分散は $\delta$ の約3.05から $\delta^*$ の約0.295へと10分の1以下に激減しています。$\delta^*$ の分散は理論値 $\lambda/n = 0.3$ とほぼ一致しており、定理どおり分散が減少することが確認できます。
さらに、もし $T$ が完備十分統計量なら、こうして得た $\delta^*$ は一意に決まり（前節の完備性の議論）、それが一様最小分散不偏推定量（UMVUE） ——あらゆる不偏推定量の中で分散が最小のもの——になります。これがレーマン・シェフェの定理です。十分性・完備性・推定量の最適性が、ここで美しく一本につながります。
ここまで、ベルヌーイ・正規・ポアソンで一貫して「和」が十分統計量になり、それらが完備でもあるという事実を見てきました。この共通構造の正体が指数型分布族です。
指数型分布族との関係
なぜ多くの分布で「和」が十分統計量になるのでしょうか。その答えが 指数型分布族（exponential family） です。確率分布が次の形に書けるとき、その分布は指数型分布族に属するといいます。
$$ p(x\mid\theta) = h(x)\,\exp\!\big[\eta(\theta)^\top T(x) – A(\theta)\big] $$
ここで $\eta(\theta)$ は自然パラメータ、$T(x)$ は十分統計量、$A(\theta)$ は対数分配関数（正規化項）、$h(x)$ は基底測度です。この形の威力は、$n$ 個の独立標本に対する尤度を見れば分かります。
$$ p(\bm{x}\mid\theta) = \prod_{i=1}^n h(x_i)\,\exp\!\big[\eta(\theta)^\top T(x_i) – A(\theta)\big] = \left(\prod_i h(x_i)\right)\exp\!\Big[\eta(\theta)^\top \textstyle\sum_i T(x_i) – nA(\theta)\Big] $$
指数の肩で、データが現れるのは $\sum_i T(x_i)$ という和の形だけです。これを分解定理に当てはめれば、$\sum_i T(x_i)$ が即座に十分統計量 だと分かります。これが「和が十分統計量になる」現象の種明かしです。指数型分布族では、自然パラメータと内積をとる量 $T(x)$ がそのまま（標本和の形で）十分統計量になるよう作られているのです。
この表は代表的な分布の対応をまとめています。一般形の指数の肩 $T(x)$ が、各分布の十分統計量にそのまま対応していることが読み取れます。ベルヌーイ・ポアソン・指数・ガンマ（形状既知）は $\sum x_i$、正規（平均・分散とも未知）は $(\sum x_i, \sum x_i^2)$ と、これまで導いた結果と完全に一致します。自然パラメータの列を見ると、ベルヌーイなら $\log\frac{\theta}{1-\theta}$（ロジット）、ポアソンなら $\log\lambda$ と、リンク関数の形が現れているのも興味深い点です。一般化線形モデルのリンク関数は、ここから来ています。
しかも指数型分布族では、（自然パラメータ空間が開集合などの緩い条件のもとで）この十分統計量が最小十分かつ完備になることが知られています。つまり指数型分布族なら、$\sum_i T(x_i)$ を計算するだけで、最良の不偏推定量（UMVUE）を構成する材料がそろうのです。十分統計量の理論が最も美しく機能するのが、この指数型分布族の世界です。
理論をひととおり押さえたので、最後にPythonで「十分統計量がデータの全情報を担っている」ことを数値で検証しましょう。
Pythonでの実装と検証
十分性の数値検証：同じ T なら尤度が一致する
十分統計量の本質は「$T$ が同じなら $\theta$ の推定はまったく同じ」でした。これをポアソン分布で確かめます。$T=\sum x_i$ が同じになる異なるデータを複数用意し、対数尤度関数が一致するかを見ます。
import numpy as np
rng = np.random.default_rng(21)
n = 12
target_T = 36 # 狙う十分統計量の値
# T = Σx = 36 を持つ、異なる生データを3つ集める
datasets = []
while len(datasets) < 3:
x = rng.poisson(3.0, n)
if x.sum() == target_T:
datasets.append(x)
# ポアソンの対数尤度: ℓ(λ) = Σ(x_i logλ - λ - log x_i!) = T logλ - nλ + const
lam_grid = np.linspace(0.5, 6, 400)
for ds in datasets:
T = ds.sum()
ll = T * np.log(lam_grid) - n * lam_grid # 定数項(log x_i!)は省略
ll = ll - ll.max() # 最大を0に揃える
print(f"データ {ds.tolist()} T={T} MLE(=T/n)={T/n:.3f}")
# 3つの対数尤度曲線の最大ずれを測る
curves = [target_T * np.log(lam_grid) - n * lam_grid for _ in datasets]
curves = [c - c.max() for c in curves]
print("曲線間の最大差:", np.max(np.abs(curves[0] - curves[1])))
実行すると、3つのデータは中身（並び）がまったく異なるのに、$T=36$ がすべて同じです。そして対数尤度曲線間の最大差は 0.0（完全一致）になります。$\theta$ を含む尤度の部分にデータが $T$ という形でしか入らないため、$T$ さえ同じなら尤度は一字一句同じ——分解定理が予言したとおりです。最尤推定値も全データで $T/n = 3.0$ で一致します。
条件付き分布が θ に依存しないことの検証
次に、十分性のもう一つの顔——「$T$ を固定したときの条件付き分布が $\theta$ に依存しない」——を直接確かめます。ベルヌーイ $n=4$ で $T=\sum x_i = 2$ を満たす並びについて、複数の $\theta$ で条件付き確率を計算します。
import numpy as np
from itertools import product
from scipy.stats import binom
n, k = 4, 2
patterns = [p for p in product([0, 1], repeat=n) if sum(p) == k] # k=2 の並び
for theta in [0.2, 0.5, 0.8]:
probs = []
for p in patterns:
joint = theta**sum(p) * (1 - theta)**(n - sum(p)) # P(x | θ)
margT = binom.pmf(k, n, theta) # P(T=k | θ)
probs.append(joint / margT) # P(x | T=k, θ)
print(f"θ={theta}: 条件付き確率 = {np.round(probs, 4)}")
print("理論値 1/C(4,2) =", 1 / len(patterns))
出力では、$\theta = 0.2, 0.5, 0.8$ のどれでも条件付き確率がすべて 0.1667（$=1/6$）になります。$\theta$ を変えても条件付き分布が一様分布のまま動かないのです。これは「$T=2$ を知った後は、どの並びだったかは $\theta$ とまったく無関係（すべて等確率）」を意味します。定義どおり $T=\sum x_i$ が十分統計量である決定的な証拠です。
この棒グラフは上のコードの結果を可視化したものです。横軸は$T=2$ を満たす6通りの並び、3色の棒が $\theta=0.2, 0.5, 0.8$ に対応します。すべての棒が赤い破線（理論値 $1/6 \approx 0.167$）にぴたりと揃っています。$\theta$ がどれだけ違っても条件付き確率が動かないことが一目で分かり、十分統計量の定義が成り立っていると確認できます。
ラオ・ブラックウェルの数値実験
最後に、ラオ・ブラックウェルの定理を数値実験で確かめます。ポアソン分布で素朴推定量 $\delta = x_1$ と、十分統計量で条件付けた $\delta^* = T/n$ の分散を比較します。
import numpy as np
rng = np.random.default_rng(11)
lam_true = 3.0
n = 10
n_rep = 20000
naive, rb = [], []
for _ in range(n_rep):
x = rng.poisson(lam_true, n)
naive.append(x[0]) # 素朴推定量 δ = x_1（最初の1点だけ）
rb.append(x.sum() / n) # RB化 δ* = E[x_1 | T] = T/n
naive, rb = np.array(naive), np.array(rb)
print(f"素朴 δ=x_1 : 平均={naive.mean():.3f}, 分散={naive.var():.3f}")
print(f"RB化 δ*=T/n : 平均={rb.mean():.3f}, 分散={rb.var():.3f}")
print(f"理論分散 λ/n = {lam_true/n:.3f}")
print(f"分散の比 (RB/素朴) = {rb.var()/naive.var():.3f}")
実行結果では、両推定量とも平均は $\lambda = 3.0$ 付近（どちらも不偏）ですが、分散は素朴な $\delta$ が約 $3.0$（$=\lambda$）に対し、$\delta^*$ は約 $0.3$（$=\lambda/n$）まで下がります。分散の比はおよそ $0.1$、つまり10分の1です。十分統計量 $T$ で条件付けるだけで、推定量がこれほど改善するのです。$\delta^*=T/n$ の分散が理論値 $\lambda/n$ と一致することも、ポアソン分布の $T$ が完備十分でこれがUMVUEになっている事実を裏付けています。
これらの実験を通して、十分統計量が「データの全情報を担う要約量」であること、そしてそれが推定量の改善に直結することを、数値で実感できました。
まとめ
本記事では、十分統計量について直感から定理の証明、応用まで一気通貫で解説しました。
- 十分統計量とは: パラメータ推定に必要な情報を漏らさず握る要約量。$T$ を固定したときの条件付き分布が $\theta$ に依存しないこと、と定義される。生データを捨てて $T$ だけ持っても推定に困らない。
- フィッシャー・ネイマンの分解定理: 尤度が $p(\bm{x}\mid\theta) = g(T(\bm{x}),\theta)\,h(\bm{x})$ の形に分解できることと十分性は同値。条件付き分布を計算せずに、尤度の形だけで十分性を判定できる。
- 具体例: ベルヌーイは $\sum x_i$、ポアソンは $\sum x_i$、正規（平均・分散未知）は $(\sum x_i, \sum x_i^2)$ が十分統計量。いずれも「和」が主役。
- 最小十分統計量と完備性: 十分性を保つ最も粗い統計量が最小十分。完備性は不偏推定量の一意性を保証し、レーマン・シェフェの定理でUMVUEを与える。
- ラオ・ブラックウェルの定理: どんな不偏推定量も、十分統計量で条件付けると分散が減る（決して増えない）。完備十分統計量なら結果はUMVUEになる。
- 指数型分布族: $p(x\mid\theta)=h(x)\exp[\eta(\theta)^\top T(x)-A(\theta)]$ の指数の肩 $T(x)$ がそのまま十分統計量。多くの分布で「和」が十分統計量になる理由がここにある。
数値実験では、同じ $T$ を持つ異なるデータで尤度が完全一致すること、条件付き分布が $\theta$ に依存しないこと、ラオ・ブラックウェル化で分散が10分の1に減ることを確認しました。十分統計量は、推定理論・データ圧縮・ベイズの共役性・一般化線形モデルなど、統計学の至るところで土台となる概念です。
次のステップとして、以下の記事も参考にしてください。