機械学習と情報技術

完備十分統計量とレーマン・シェッフェの定理

確率論

ラオ・ブラックウェルの定理により、任意の不偏推定量を十分統計量で条件付ければ分散が改善されることがわかりました。しかし、十分統計量はしばしば複数の関数を含みます。改善後の推定量が本当に「最良」であること——すなわち、すべての不偏推定量の中で一様に最小の分散を持つこと——をどう保証すればよいのでしょうか。

この保証を与えるのがレーマン・シェッフェの定理（Lehmann-Scheffe theorem）です。この定理は、十分統計量が「完備」（complete）という条件を満たすとき、十分統計量の関数として表される不偏推定量がUMVUE（一様最小分散不偏推定量）であることを主張します。

完備十分統計量とレーマン・シェッフェの定理を理解すると、以下のことが可能になります。

  • UMVUE（最良不偏推定量）の構成: 体系的にUMVUEを見つける方法
  • 推定量の最適性の証明: ある推定量がこれ以上改善できないことの厳密な証明
  • 指数型分布族での推定の完全な理解: 指数型分布族では完備十分統計量が自然に存在する
  • クラメール・ラオの下限との対応: UMVUEが理論的な分散の下限を達成するかの判定

本記事の内容

  • 完備性の定義と直感的意味
  • レーマン・シェッフェの定理の証明
  • 指数型分布族における完備十分統計量
  • 具体例でのUMVUEの構成（ポアソン・正規・一様分布）
  • Pythonによる数値検証

前提知識

完備性の定義

直感的な理解

完備性の数学的定義に入る前に、その意味を直感的に把握しましょう。

不偏推定の世界では、同じ量 $g(\theta)$ の不偏推定量が複数存在することがあります。たとえば、$\theta$ の不偏推定量 $\delta_1(T)$ と $\delta_2(T)$（ともに十分統計量 $T$ の関数）がある場合、それらの差 $h(T) = \delta_1(T) – \delta_2(T)$ は期待値がゼロの推定量です。

$$ E_\theta[h(T)] = E_\theta[\delta_1(T)] – E_\theta[\delta_2(T)] = g(\theta) – g(\theta) = 0 \quad \text{for all } \theta $$

もしこのような「恒等的に期待値ゼロだが、自明でない（ゼロ関数ではない）」関数 $h$ が存在するならば、不偏推定量の選択に曖昧さが残ります。$\delta_1$ と $\delta_2$ のどちらも不偏ですが、分散が異なるかもしれません。

完備性は、このような曖昧さを排除する条件です。十分統計量 $T$ が完備であれば、「$T$ の関数で期待値が恒等的にゼロのものはゼロ関数しかない」ことが保証され、不偏推定量が一意に定まるのです。

数学的定義

統計量 $T$ が完備（complete）であるとは、任意の可測関数 $g$ に対して

$$ \begin{equation} E_\theta[g(T)] = 0 \quad \text{for all } \theta \in \Theta \quad \Longrightarrow \quad P_\theta(g(T) = 0) = 1 \quad \text{for all } \theta \end{equation} $$

が成り立つことをいいます。

言い換えると、$T$ の分布族 $\{P_\theta^T : \theta \in \Theta\}$ が十分に「多様」であり、すべてのパラメータ $\theta$ で期待値がゼロとなる非自明な関数が存在しないことを要求しています。

完備性と十分性の独立性

完備性と十分性は独立な概念です。統計量が十分であっても完備でないことがあり、完備であっても十分でないことがあります。しかし、推定論で最も重要なのは完備かつ十分な統計量であり、これが「完備十分統計量」（complete sufficient statistic）です。

完備性が成り立たない例を一つ挙げましょう。$X_1, X_2 \sim U(\theta, \theta + 1)$（一様分布）のとき、$(X_{(1)}, X_{(2)})$（順序統計量）は十分統計量ですが、完備ではありません。$g(X_{(1)}, X_{(2)}) = X_{(2)} – X_{(1)} – 1/3$ とおくと $E_\theta[g] = 0$ が全 $\theta$ で成り立ちますが、$g$ はゼロ関数ではありません。これは $X_{(2)} – X_{(1)}$ の分布が $\theta$ に依存しない（分布自由統計量、ancillary statistic）ことに対応しています。

バスの最小十分統計量との関係

バスの定理（Bahadur’s theorem）によると、完備十分統計量は最小十分統計量（minimal sufficient statistic）でもあります。最小十分統計量とは、他のすべての十分統計量の関数として書ける十分統計量であり、データの情報を最も効率的に圧縮した統計量です。したがって、完備十分統計量はデータの情報を余すところなく、かつ最も簡潔に凝縮した統計量であるといえます。

完備性の意味を理解したところで、次にレーマン・シェッフェの定理を証明しましょう。

レーマン・シェッフェの定理

定理の主張

$T$ が $\theta$ に対する完備十分統計量であり、$\delta^*(T)$ が $g(\theta)$ の不偏推定量であるとき、$\delta^*(T)$ は $g(\theta)$ のUMVUE（一様最小分散不偏推定量、uniformly minimum variance unbiased estimator）です。

UMVUEとは、すべてのパラメータ値 $\theta \in \Theta$ に対して、すべての不偏推定量の中で分散が最小となる推定量のことです。

$$ \text{Var}_\theta(\delta^*(T)) \leq \text{Var}_\theta(\delta) \quad \text{for all unbiased } \delta \text{ and all } \theta \in \Theta $$

証明

証明は2つのステップからなります。まず一意性を示し、次に最適性を示します。

一意性の証明: $\delta_1(T)$ と $\delta_2(T)$ がともに $g(\theta)$ の不偏推定量であるとします。

$$ E_\theta[\delta_1(T) – \delta_2(T)] = g(\theta) – g(\theta) = 0 \quad \text{for all } \theta $$

$T$ の完備性より $\delta_1(T) – \delta_2(T) = 0$ a.s.（概確実に）。つまり、$T$ の関数として表される $g(\theta)$ の不偏推定量は（概確実に）一意です。

最適性の証明: $\delta$ を $g(\theta)$ の任意の不偏推定量（$T$ の関数とは限らない）とします。ラオ・ブラックウェルの定理により、$E[\delta|T]$ は

  1. $g(\theta)$ の不偏推定量（繰り返し期待値の法則 $E_\theta[E[\delta|T]] = E_\theta[\delta] = g(\theta)$）
  2. $T$ の関数（条件付き期待値の定義から）
  3. $\text{Var}(E[\delta|T]) \leq \text{Var}(\delta)$（全分散の公式から）

上で示した一意性から $E[\delta|T] = \delta^*(T)$（a.s.）です。したがって

$$ \text{Var}_\theta(\delta^*(T)) = \text{Var}_\theta(E[\delta|T]) \leq \text{Var}_\theta(\delta) $$

がすべての不偏推定量 $\delta$ に対して、すべての $\theta$ で成り立ちます。$\square$

UMVUE構成の手順

この定理の実用的な価値は、UMVUEを体系的に構成する手順を与えることにあります。

  1. 完備十分統計量 $T$ を見つける
  2. $g(\theta)$ の任意の不偏推定量 $\delta$ を見つける（どんなに「悪い」推定量でも構いません）
  3. ラオ・ブラックウェル化: $\delta^* = E[\delta|T]$ を計算する
  4. $\delta^*$ がUMVUE

ステップ2で見つける不偏推定量は、たとえば $X_1$ だけを使う非効率な推定量でも構いません。ラオ・ブラックウェル化により自動的にUMVUEが得られるからです。この「入力の質に依存しない」性質が、この手順の美しさです。

もう一つの方法は、完備十分統計量 $T$ の関数のうち不偏であるものを直接見つけることです。レーマン・シェッフェの定理により、そのような関数は自動的にUMVUEになります。

次に、どのような分布で完備十分統計量が自然に存在するかを見ましょう。

指数型分布族における完備十分統計量

定理

指数型分布族では、完備十分統計量が自然に存在します。

定理: 正則な $k$-パラメータ指数型分布族

$$ f(x|\boldsymbol{\eta}) = h(x)\exp(\boldsymbol{\eta}^T\bm{T}(x) – A(\boldsymbol{\eta})) $$

において、自然パラメータ空間 $\mathcal{N} = \{\boldsymbol{\eta} : A(\boldsymbol{\eta}) < \infty\}$ が $\mathbb{R}^k$ の開集合を含むならば、$\bm{T}(X) = (T_1(X), \dots, T_k(X))$ は完備十分統計量です。

証明の概略: $\bm{T}$ が十分統計量であることはフィッシャー・ネイマンの分解定理から直ちに従います。完備性は、$A(\boldsymbol{\eta})$ の解析性と自然パラメータ空間の正則性から、ラプラス変換の一意性を用いて証明できます。

実用的な意義

この定理により、正規分布・ポアソン分布・二項分布・指数分布・ガンマ分布など主要な分布のほとんどで、UMVUEが体系的に構成できます。

分布 完備十分統計量 $T$ 典型的なUMVUE
$N(\mu, \sigma^2)$（$\sigma^2$ 既知） $\sum X_i$ $\mu$: $\bar{X}$
$N(\mu, \sigma^2)$（両方未知） $(\sum X_i, \sum X_i^2)$ $\mu$: $\bar{X}$, $\sigma^2$: $S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2$
Poisson($\lambda$) $\sum X_i$ $\lambda$: $\bar{X}$
Bin($n$, $p$)（$n$ 既知） $\sum X_i$ $p$: $\bar{X}/n$
Exp($\lambda$) $\sum X_i$ $1/\lambda$: $\bar{X}$

指数型分布族でない場合

一様分布 $U(0, \theta)$ は指数型分布族ではありませんが、順序統計量 $X_{(n)} = \max(X_1, \dots, X_n)$ が完備十分統計量であることが直接証明できます。$X_{(n)}$ の密度関数は $f_{X_{(n)}}(t) = n t^{n-1}/\theta^n$（$0 < t < \theta$）であり、この族の完備性はルベーグの積分の性質から示せます。

これらの理論を、具体例を通じて確認していきましょう。

具体例1: ポアソン分布

$P(X = 0)$ のUMVUE

$X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$ とします。完備十分統計量は $T = \sum X_i$（$T \sim \text{Poisson}(n\lambda)$）です。

$g(\lambda) = e^{-\lambda}$（= $P(X_1 = 0)$）のUMVUEを構成しましょう。

ステップ1: $e^{-\lambda}$ の不偏推定量を見つけます。$\delta = \mathbb{1}(X_1 = 0)$（$X_1$ が0なら1、そうでなければ0）は不偏推定量です。

$$ E[\delta] = P(X_1 = 0) = e^{-\lambda} $$

ステップ2: ラオ・ブラックウェル化します。

$$ \delta^* = E[\mathbb{1}(X_1 = 0) | T = t] = P(X_1 = 0 | T = t) $$

$T = t$ のもとで $X_1 = 0$ であるためには、$\sum_{i=2}^n X_i = t$ である必要があります。

$X_1 = 0$ のとき $\sum_{i=2}^n X_i = t$ であり、$\sum_{i=2}^n X_i \sim \text{Poisson}((n-1)\lambda)$ です。

条件付き確率を計算すると、

$$ \delta^* = \frac{P(X_1 = 0) \cdot P(\sum_{i=2}^n X_i = t)}{P(T = t)} $$

$P(X_1 = 0) = e^{-\lambda}$、$P(\sum_{i=2}^n X_i = t) = \frac{((n-1)\lambda)^t e^{-(n-1)\lambda}}{t!}$、$P(T = t) = \frac{(n\lambda)^t e^{-n\lambda}}{t!}$ を代入すると、

$$ \delta^* = \frac{e^{-\lambda} \cdot \frac{((n-1)\lambda)^t e^{-(n-1)\lambda}}{t!}}{\frac{(n\lambda)^t e^{-n\lambda}}{t!}} = \left(\frac{n-1}{n}\right)^t = \left(1 – \frac{1}{n}\right)^T $$

レーマン・シェッフェの定理より、$\left(1 – \frac{1}{n}\right)^T$ は $e^{-\lambda}$ のUMVUEです。

$\lambda$ のUMVUE

$g(\lambda) = \lambda$ のUMVUEは、$\bar{X} = T/n$ です。これは直感に合います。$E[\bar{X}] = \lambda$ なので不偏であり、完備十分統計量の関数なのでUMVUEです。

具体例2: 正規分布

$\mu^2$ のUMVUE

$X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} N(\mu, \sigma^2)$（$\sigma^2$ 既知）のとき、完備十分統計量は $T = \bar{X}$（$\bar{X} \sim N(\mu, \sigma^2/n)$）です。

$g(\mu) = \mu^2$ のUMVUEを求めましょう。

$\bar{X}^2$ は $\mu^2$ の推定量ですが、

$$ E[\bar{X}^2] = \text{Var}(\bar{X}) + (E[\bar{X}])^2 = \frac{\sigma^2}{n} + \mu^2 $$

なので不偏ではありません。不偏修正として、

$$ \delta^* = \bar{X}^2 – \frac{\sigma^2}{n} $$

とおくと $E[\delta^*] = \mu^2$ となり不偏です。$\delta^*$ は $\bar{X}$ の関数であり、$\bar{X}$ は完備十分統計量なので、レーマン・シェッフェの定理よりこれがUMVUEです。

注意すべき点として、$\delta^*$ は $\mu^2$ の推定なのに負の値をとりうるという直感に反する性質があります。$|\bar{X}|$ が小さいとき $\bar{X}^2 < \sigma^2/n$ となる場合があるからです。これはUMVUEの限界の一つであり、不偏性に固執することが必ずしも最善ではないことを示唆しています。

具体例3: 一様分布

$X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} U(0, \theta)$ のとき、完備十分統計量は $T = X_{(n)} = \max(X_1, \dots, X_n)$ です。

$g(\theta) = \theta$ のUMVUEを求めます。$X_{(n)}$ の密度関数は $f(t) = n t^{n-1}/\theta^n$（$0 < t < \theta$）なので、

$$ E[X_{(n)}] = \int_0^\theta t \cdot \frac{n t^{n-1}}{\theta^n}\,dt = \frac{n}{\theta^n} \cdot \frac{\theta^{n+1}}{n+1} = \frac{n}{n+1}\theta $$

したがって、

$$ \delta^* = \frac{n+1}{n} X_{(n)} $$

が $\theta$ のUMVUEです。

Pythonによる数値検証

理論的に構成したUMVUEが実際にナイーブ推定量よりも分散が小さいことをシミュレーションで確認します。

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

np.random.seed(42)

# ポアソン分布: P(X=0) = exp(-λ) のUMVUE
lambda_true = 2.0
n = 20
n_experiments = 50000

fig, axes = plt.subplots(1, 2, figsize=(14, 5.5))

# (a) 各推定量の分布
ax = axes[0]
true_val = np.exp(-lambda_true)

# 推定量1: 1(X_1 = 0)
data_all = np.random.poisson(lambda_true, (n_experiments, n))
est_naive = (data_all[:, 0] == 0).astype(float)

# 推定量2: UMVUE = (1 - 1/n)^T
T = data_all.sum(axis=1)
est_umvue = ((n - 1) / n) ** T

ax.hist(est_naive, bins=[-0.25, 0.25, 0.75, 1.25], density=True,
        alpha=0.5, color="salmon", edgecolor="white",
        label=rf"$\mathbb{{1}}(X_1=0)$, Var={est_naive.var():.4f}")
ax.hist(est_umvue, bins=50, density=True, alpha=0.5,
        color="steelblue", edgecolor="white",
        label=rf"$(1-1/n)^T$, Var={est_umvue.var():.6f}")
ax.axvline(true_val, color="red", linewidth=2, linestyle="--",
           label=rf"$e^{{-\lambda}} = {true_val:.4f}$")

ax.set_xlabel("Estimate", fontsize=12)
ax.set_ylabel("Density", fontsize=12)
ax.set_title(rf"Estimating $P(X=0) = e^{{-\lambda}}$ ($\lambda={lambda_true}$, $n={n}$)",
             fontsize=13)
ax.legend(fontsize=9)
ax.grid(True, alpha=0.3)

# (b) サンプルサイズに対する分散の変化
ax = axes[1]
n_range = np.arange(2, 51)
var_naive_theory = true_val * (1 - true_val)

vars_umvue = []
for n_val in n_range:
    data = np.random.poisson(lambda_true, (20000, n_val))
    T_vals = data.sum(axis=1)
    est = ((n_val - 1) / n_val) ** T_vals
    vars_umvue.append(est.var())

ax.plot(n_range, [var_naive_theory]*len(n_range), "r-", linewidth=2,
        label=r"Naive: $e^{-\lambda}(1-e^{-\lambda})$")
ax.plot(n_range, vars_umvue, "b-", linewidth=2, label="UMVUE")

ax.set_xlabel("Sample size n", fontsize=12)
ax.set_ylabel("Variance", fontsize=12)
ax.set_title("Variance comparison", fontsize=13)
ax.legend(fontsize=10)
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.savefig("complete_sufficient.png", dpi=150, bbox_inches="tight")
plt.show()

この数値検証から、以下のことが確認できます。

  1. 左図: UMVUEの分散はナイーブ推定量の分散よりはるかに小さい 。$\mathbb{1}(X_1 = 0)$ は0か1の2値しか取れないため分散が大きい（$p(1-p) \approx 0.117$）ですが、UMVUE $((n-1)/n)^T$ は真の値 $e^{-\lambda} \approx 0.135$ の近くに集中しています。ラオ・ブラックウェル化により、$T = \sum X_i$ の情報を最大限に活用した結果、推定精度が劇的に向上しています。

  2. 右図: UMVUEの分散はサンプルサイズの増加に伴い急速に減少する のに対し、ナイーブ推定量の分散はサンプルサイズに無関係に一定です。$n = 50$ ではUMVUEの分散はナイーブ推定量の約1/100以下に減少しており、UMVUEがデータの情報を最大限に活用していることが数値的にも確認できます。

次に、複数の分布に対するUMVUEの比較を行います。

複数分布でのUMVUEの包括的検証

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

np.random.seed(42)
n_experiments = 30000

fig, axes = plt.subplots(2, 2, figsize=(14, 11))

# --- (a) ポアソン分布: λ のUMVUE ---
ax = axes[0, 0]
lambda_true = 3.0
n = 15

data = np.random.poisson(lambda_true, (n_experiments, n))
est_x1 = data[:, 0].astype(float)  # X_1 のみ
est_umvue = data.mean(axis=1)       # 標本平均

ax.hist(est_x1, bins=range(0, 12), density=True, alpha=0.5,
        color="salmon", edgecolor="white",
        label=rf"$X_1$, Var={est_x1.var():.2f}")
ax.hist(est_umvue, bins=50, density=True, alpha=0.5,
        color="steelblue", edgecolor="white",
        label=rf"$\bar{{X}}$, Var={est_umvue.var():.4f}")
ax.axvline(lambda_true, color="red", linewidth=2, linestyle="--",
           label=rf"True $\lambda = {lambda_true}$")
ax.set_title(rf"Poisson: UMVUE of $\lambda$ (n={n})", fontsize=13)
ax.legend(fontsize=9)
ax.grid(True, alpha=0.3)

# --- (b) 正規分布: μ² のUMVUE ---
ax = axes[0, 1]
mu_true = 2.0
sigma = 1.0
n = 10

data = np.random.normal(mu_true, sigma, (n_experiments, n))
x_bar = data.mean(axis=1)
est_naive = x_bar**2                        # 不偏でない
est_umvue = x_bar**2 - sigma**2 / n        # UMVUE

ax.hist(est_naive, bins=80, density=True, alpha=0.5,
        color="salmon", edgecolor="white",
        label=rf"$\bar{{X}}^2$, Bias={est_naive.mean() - mu_true**2:.3f}")
ax.hist(est_umvue, bins=80, density=True, alpha=0.5,
        color="steelblue", edgecolor="white",
        label=rf"$\bar{{X}}^2 - \sigma^2/n$, Bias={est_umvue.mean() - mu_true**2:.3f}")
ax.axvline(mu_true**2, color="red", linewidth=2, linestyle="--",
           label=rf"True $\mu^2 = {mu_true**2}$")
ax.set_title(rf"Normal: UMVUE of $\mu^2$ (n={n})", fontsize=13)
ax.legend(fontsize=8)
ax.grid(True, alpha=0.3)

# --- (c) 一様分布: θ のUMVUE ---
ax = axes[1, 0]
theta_true = 5.0
n = 10

data = np.random.uniform(0, theta_true, (n_experiments, n))
x_max = data.max(axis=1)
est_mle = x_max                     # MLE（偏り）
est_umvue = (n + 1) / n * x_max    # UMVUE
est_moment = 2 * data.mean(axis=1)  # モーメント法

ax.hist(est_mle, bins=80, density=True, alpha=0.4,
        color="salmon", edgecolor="white",
        label=rf"MLE $X_{{(n)}}$, Bias={est_mle.mean() - theta_true:.3f}")
ax.hist(est_umvue, bins=80, density=True, alpha=0.4,
        color="steelblue", edgecolor="white",
        label=rf"UMVUE $\frac{{n+1}}{{n}}X_{{(n)}}$, Bias={est_umvue.mean() - theta_true:.3f}")
ax.hist(est_moment, bins=80, density=True, alpha=0.4,
        color="lightgreen", edgecolor="white",
        label=rf"MoM $2\bar{{X}}$, Bias={est_moment.mean() - theta_true:.3f}")
ax.axvline(theta_true, color="red", linewidth=2, linestyle="--",
           label=rf"True $\theta = {theta_true}$")
ax.set_title(rf"Uniform: UMVUE of $\theta$ (n={n})", fontsize=13)
ax.legend(fontsize=8)
ax.grid(True, alpha=0.3)

# --- (d) MSE比較サマリー ---
ax = axes[1, 1]
labels = ["Poisson\n" + r"$\lambda$", "Normal\n" + r"$\mu^2$", "Uniform\n" + r"$\theta$"]
mse_naive = [
    np.mean((data[:, 0].astype(float) - 3.0)**2),  # 再計算が必要
    np.mean((x_bar**2 - mu_true**2)**2),
    np.mean((est_mle - theta_true)**2)
]
mse_umvue_vals = [
    np.mean((np.random.poisson(3.0, (n_experiments, 15)).mean(axis=1) - 3.0)**2),
    np.mean((est_umvue - mu_true**2)**2),
    np.mean((est_umvue - theta_true)**2)
]

# 正しいMSE計算
data_poisson = np.random.poisson(3.0, (n_experiments, 15))
mse_naive_vals = [
    np.mean((data_poisson[:, 0] - 3.0)**2),
    np.mean((x_bar**2 - mu_true**2)**2),
    np.mean((x_max - theta_true)**2)
]
mse_umvue_corr = [
    np.mean((data_poisson.mean(axis=1) - 3.0)**2),
    np.mean(((x_bar**2 - sigma**2/n) - mu_true**2)**2),
    np.mean(((n+1)/n * x_max - theta_true)**2)
]

x_pos = np.arange(len(labels))
width = 0.35
ax.bar(x_pos - width/2, mse_naive_vals, width, color="salmon", alpha=0.7,
       label="Naive estimator")
ax.bar(x_pos + width/2, mse_umvue_corr, width, color="steelblue", alpha=0.7,
       label="UMVUE")
ax.set_xticks(x_pos)
ax.set_xticklabels(labels, fontsize=10)
ax.set_ylabel("MSE", fontsize=12)
ax.set_title("MSE comparison: Naive vs UMVUE", fontsize=13)
ax.legend(fontsize=10)
ax.grid(True, alpha=0.3, axis="y")

plt.tight_layout()
plt.savefig("umvue_comparison.png", dpi=150, bbox_inches="tight")
plt.show()

この包括的な検証から、以下のことが確認できます。

  1. 左上（ポアソン分布）: 標本平均 $\bar{X}$（UMVUE）は $X_1$（ナイーブ推定量）に比べて真の値の周りにはるかに集中している 。$X_1$ は離散的な値しか取れないため分散が大きいですが、$\bar{X}$ はデータ全体の情報を使っているため分散が $1/n$ 倍に減少しています。

  2. 右上（正規分布）: $\bar{X}^2$ は正のバイアスを持つが、$\bar{X}^2 – \sigma^2/n$ は不偏 。不偏修正を施したUMVUEは真の値 $\mu^2 = 4$ の周りに対称的に分布しています。

  3. 左下（一様分布）: 最尤推定量 $X_{(n)}$ は下方バイアスを持つ 。$X_{(n)}$ は常に $\theta$ 以下なので過小推定の傾向がありますが、UMVUE $\frac{n+1}{n}X_{(n)}$ はこのバイアスを修正しています。モーメント法推定量 $2\bar{X}$ も不偏ですが、UMVUEより分散が大きいことが確認できます。

  4. 右下（MSE比較）: すべての分布でUMVUEのMSEがナイーブ推定量のMSEを下回っている 。レーマン・シェッフェの定理の理論的保証が数値的にも裏付けられています。

クラメール・ラオの下限との関係

UMVUEは不偏推定量の中で最良ですが、クラメール・ラオの下限を常に達成するわけではありません。

クラメール・ラオの不等式: $\delta$ が $g(\theta)$ の不偏推定量であるとき、

$$ \text{Var}_\theta(\delta) \geq \frac{[g'(\theta)]^2}{I(\theta)} $$

ここで $I(\theta)$ はフィッシャー情報量です。

等号が成立する条件は、スコア関数が推定量の線形関数であること、すなわち分布が指数型分布族であり $g(\theta)$ が自然パラメータの線形関数である場合に限られます。

たとえば、ポアソン分布で $g(\lambda) = \lambda$ のUMVUE $\bar{X}$ はクラメール・ラオの下限を達成しますが、$g(\lambda) = e^{-\lambda}$ のUMVUE $((n-1)/n)^T$ は一般にクラメール・ラオの下限を達成しません。それでもUMVUEは不偏推定量の中では最良であり、下限が達成不可能なだけです。

まとめ

本記事では、完備十分統計量の概念とレーマン・シェッフェの定理を解説し、UMVUEの構成法を示しました。

  • 完備性は「$T$ の関数で恒等的に期待値ゼロになるのはゼロ関数だけ」という条件であり、不偏推定量の一意性を保証する
  • レーマン・シェッフェの定理: 完備十分統計量の関数として表される不偏推定量はUMVUEであり、すべての不偏推定量の中で一様に最小の分散を持つ
  • 指数型分布族では正則条件のもとで十分統計量が自動的に完備になり、主要な分布のUMVUEが体系的に構成できる
  • UMVUE構成の手順: (1)完備十分統計量を見つける → (2)任意の不偏推定量をラオ・ブラックウェル化、または(3)完備十分統計量の関数のうち不偏であるものを直接見つける
  • UMVUEは不偏推定量の中で最良だが、クラメール・ラオの下限を常に達成するわけではない

次のステップとして、以下の記事も参考にしてください。

関連記事

前の記事

ベイズ仮説検定とベイズファクターの計算

次の記事

階層ベイズモデルの理論

関連タグ: UMVUE レーマン・シェッフェ 十分統計量 完備十分統計量 指数型分布族 推定理論