ある工場で部品の不良率 $p$ を推定したいとします。100個を検査して不良率を計算すれば、それなりの推定値が得られます。では、検査の「やり方」を工夫すれば、同じ100個のデータからもっと精度の高い推定値——つまり、ばらつきの小さい推定値——を絞り出せるのでしょうか？ いくらでも工夫の余地があるのか、それとも「これ以上は無理」という壁があるのか。
クラメール・ラオの下限（Cramér–Rao lower bound, CRLB）は、まさにこの問いに答えます。結論を先に言えば、どんなに賢い不偏推定量を設計しても、その分散には越えられない理論的な床があるのです。その床の高さを決めるのが、データがパラメータについて持つ「情報の量」を測るフィッシャー情報量という量です。
この下限を理解すると、実務で2つの大きな武器が手に入ります。1つは、自分の作った推定量が「最良」かどうかを客観的に判定できること。下限ちょうどの分散を達成していれば、それ以上の改善は原理的に不可能だと胸を張れます。もう1つは、必要なサンプル数の見積もりです。「分散を半分にしたいなら、データは何倍必要か」という設計判断が、下限の式から直接計算できます。レーダーの測距精度、センサーのキャリブレーション、医療統計の症例数設計——あらゆる場面で、この下限は「達成可能な限界」を教えてくれる羅針盤になります。
本記事の内容
- スコア関数とフィッシャー情報量の直感的な意味と定義
- クラメール・ラオ不等式 $\mathrm{Var}(\hat\theta) \geq 1/(nI(\theta))$ の主張と、コーシー・シュワルツの不等式による省略なしの導出
- 下限を達成する「有効推定量」と、最尤推定量（MLE）の漸近効率性
- 正規分布の平均・分散、ベルヌーイ $p$、ポアソン $\lambda$ の具体例
- 多次元パラメータへの拡張（フィッシャー情報行列）
- Pythonによる数値検証——モンテカルロで推定量の分散がぴたりと下限に張り付くことを確認
前提知識
この記事を読む前に、以下の記事を読んでおくと理解が深まります。
推定の精度には限界があるのか
私たちは観測データ $X_1, \dots, X_n$ から、未知のパラメータ $\theta$ を推定したいとします。たとえば $\theta$ はコインの表が出る確率かもしれませんし、信号に乗った真の電圧かもしれません。推定量 $\hat\theta$ は、データを入力すると推定値を返す関数 $\hat\theta = T(X_1, \dots, X_n)$ です。
良い推定量とは何でしょうか。2つの性質が望まれます。1つは不偏性——平均的に真値を当てること、すなわち $E[\hat\theta] = \theta$。もう1つは分散の小ささ——推定値がデータの偶然のばらつきに左右されず、真値の近くに集中していること。不偏でも分散が大きければ、1回の推定値は当てにならないからです。
ここで素朴な疑問が湧きます。不偏性を保ったまま、分散はどこまでも小さくできるのでしょうか。直感的には「データを賢く使えばいくらでも改善できそう」と思えますが、実はそうではありません。データ自体が持っている「$\theta$ についての情報」には限りがあり、その情報量が、達成可能な分散の最小値を決めてしまうのです。
上の図は、同じパラメータ $\theta$ に対する3つの不偏推定量の分布（青系の曲線）と、赤い破線で示した分散の理論的下限を重ねたものです。3つの推定量はどれも真値 $\theta$ を中心としていますが（不偏）、分散の大きさが異なります。分散が小さいほど分布は細く尖り、推定の精度が高いことを表します。重要なのは、どんなに工夫しても赤い破線より細い分布は作れないという点です。この「越えられない壁」がクラメール・ラオの下限です。
では、この壁の高さは何で決まるのでしょうか。鍵になるのが、データがパラメータについて持つ情報の量です。それを定量化するために、まず「スコア関数」という道具を導入します。
スコア関数とフィッシャー情報量
スコア関数：尤度の感度
データ $x$ が得られたとき、パラメータ $\theta$ のもっともらしさを測るのが尤度 $L(\theta) = f(x; \theta)$ でした。計算の都合上、対数をとった対数尤度 $\ell(\theta) = \log f(x; \theta)$ を使います。
ここで「対数尤度を $\theta$ で微分したもの」を考えます。これをスコア関数と呼びます。
$$ \begin{equation} s(\theta; x) = \frac{\partial}{\partial\theta} \log f(x; \theta) \end{equation} $$
スコア関数は何を意味するのでしょうか。直感的には、「$\theta$ をほんの少し動かしたとき、対数尤度がどれだけ敏感に変化するか」を表します。観測 $x$ が $\theta$ の値に強く反応するなら、$x$ は $\theta$ について多くを語っている——つまり情報量が大きいわけです。逆に、$\theta$ を動かしても尤度がほとんど変わらないなら、$x$ から $\theta$ を特定するのは難しい。スコアは「データの $\theta$ に対する感度」なのです。
スコア関数には、見過ごせない重要な性質があります。真のパラメータ値のもとで、スコアの期待値はゼロになるのです。
$$ \begin{equation} E[s(\theta; X)] = 0 \end{equation} $$
これを確かめておきましょう。確率密度の規格化条件 $\int f(x;\theta)\, dx = 1$ から出発します。両辺を $\theta$ で微分すると（積分と微分の順序交換が許されるとして）、
$$ \frac{\partial}{\partial\theta} \int f(x;\theta)\, dx = \int \frac{\partial f(x;\theta)}{\partial\theta}\, dx = 0 $$
となります。右辺の被積分関数を、対数微分の公式 $\frac{\partial f}{\partial\theta} = f \cdot \frac{\partial \log f}{\partial\theta}$ を使って書き換えます。これはスコア関数の定義そのものなので、
$$ \int \frac{\partial \log f(x;\theta)}{\partial\theta}\, f(x;\theta)\, dx = \int s(\theta; x)\, f(x;\theta)\, dx = E[s(\theta; X)] = 0 $$
が得られます。スコアの期待値がゼロというのは、「真値において対数尤度がピークにある（傾きの平均がゼロ）」ことの数学的な表現です。
左の図は、正規分布 $N(\mu, 1)$ から得たデータのスコアの分布です。理論どおり期待値はぴったりゼロ（黒い破線）に集まり、理論分布とよく一致しています。右の図は、サンプル数 $n$ を $1, 5, 20$ と増やしたときの合計スコアの分布です。$n$ が大きくなるほど分布が横に広がる——つまりスコアの分散が $n$ に比例して増えることが読み取れます。この「スコアの分散」こそが、次に定義するフィッシャー情報量です。
フィッシャー情報量：情報の量を測る
スコアの期待値はゼロでした。ならば情報量を測るには、スコアの「ばらつき」を見るのが自然です。スコアが大きく振れる（分散が大きい）ほど、データは $\theta$ に敏感に反応している、すなわち情報量が大きいと考えられます。そこでフィッシャー情報量を、スコアの分散として定義します。
$$ \begin{equation} I(\theta) = E\!\left[ \left( \frac{\partial \log f(X;\theta)}{\partial\theta} \right)^2 \right] = \mathrm{Var}[s(\theta; X)] \end{equation} $$
スコアの期待値がゼロなので、$\mathrm{Var}[s] = E[s^2] – (E[s])^2 = E[s^2]$ となり、2乗の期待値がそのまま分散になっています。
フィッシャー情報量には、もう1つの等価な表現があります。対数尤度の2階微分の符号反転の期待値です。
$$ \begin{equation} I(\theta) = -E\!\left[ \frac{\partial^2 \log f(X;\theta)}{\partial\theta^2} \right] \end{equation} $$
この第2の表現を導いておきましょう。スコアの期待値ゼロの式 $\int \frac{\partial \log f}{\partial\theta} f\, dx = 0$ を、もう一度 $\theta$ で微分します。積の微分法則を使うと、
$$ \int \left[ \frac{\partial^2 \log f}{\partial\theta^2}\, f + \frac{\partial \log f}{\partial\theta}\, \frac{\partial f}{\partial\theta} \right] dx = 0 $$
となります。第2項の $\frac{\partial f}{\partial\theta}$ に、再び対数微分の公式 $\frac{\partial f}{\partial\theta} = f \cdot \frac{\partial \log f}{\partial\theta}$ を代入すると、第2項は $\left(\frac{\partial \log f}{\partial\theta}\right)^2 f$ になります。したがって、
$$ \int \frac{\partial^2 \log f}{\partial\theta^2}\, f\, dx + \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f\, dx = 0 $$
第1項は $E\!\left[\frac{\partial^2 \log f}{\partial\theta^2}\right]$、第2項は $I(\theta)$ ですから、移項すれば $I(\theta) = -E\!\left[\frac{\partial^2 \log f}{\partial\theta^2}\right]$ が得られます。
この2階微分の表現は、フィッシャー情報量の幾何学的な意味を鮮やかに示します。2階微分は曲線の曲率を表しますから、$I(\theta)$ は対数尤度のピークでの曲率（尖り具合）に他なりません。
左の図は、曲率の異なる2つの対数尤度を重ねたものです。赤い実線（情報量が大きい）は急峻に尖り、青い破線（情報量が小さい）はなだらかです。右の図は、ピークでの曲率がフィッシャー情報量 $I = -\partial^2\log L/\partial\theta^2$ に対応することを示しています。ピークが鋭いほど $\theta$ を一意に特定しやすく、推定の精度が高い——だから分散の下限が小さくなる、という関係が直感的に見えてきます。
最後に、独立同分布な $n$ 個のデータがある場合の重要な性質を述べます。対数尤度は和になる（$\log L = \sum_i \log f(X_i;\theta)$）ので、フィッシャー情報量も加法的になり、
$$ \begin{equation} I_n(\theta) = n\, I_1(\theta) \end{equation} $$
が成り立ちます。ここで $I_1(\theta)$ は1標本あたりの情報量です。データが $n$ 倍になれば情報量も $n$ 倍——直感に合う、気持ちのよい結果です。これがのちに、分散が $1/n$ で減ることの根拠になります。
情報量という道具が揃いました。いよいよ本題、クラメール・ラオの下限の主張を述べましょう。
クラメール・ラオ不等式の主張
クラメール・ラオの不等式は、不偏推定量の分散の下限を、フィッシャー情報量を使って次のように与えます。
$$ \begin{equation} \mathrm{Var}(\hat\theta) \geq \frac{1}{I_n(\theta)} = \frac{1}{n\, I_1(\theta)} \end{equation} $$
つまり、$\theta$ の任意の不偏推定量 $\hat\theta$ について、その分散は $1/(n I_1(\theta))$ 以上にはなりません。この右辺がクラメール・ラオの下限（CRLB）です。
この式は、推定の精度を支配する3つの関係を一目で表しています。第1に、フィッシャー情報量 $I_1$ が大きいほど下限は小さくなる——情報の多いデータほど精度よく推定できる。第2に、サンプル数 $n$ が大きいほど下限は $1/n$ のペースで小さくなる——データを増やせば精度は確実に上がる。第3に、この下限は推定量の「設計」によらず、データの分布だけで決まる——どんな天才的な推定量でも、この壁は越えられない。
上の図は、ベルヌーイ分布 $p=0.3$ のパラメータ推定で、サンプル数 $n$ を変えながら分散を比較したものです。赤い実線がCR下限 $p(1-p)/n$、緑の点が標本平均（不良率の素直な推定）の実測分散、オレンジの四角がわざと半分のデータしか使わない非効率な推定量です。標本平均は下限にぴったり張り付いており、これ以上改善できない「最良」の推定量だとわかります。一方、半分しか使わない推定量は下限を明らかに上回っています。
なお、推定量にバイアス（偏り）がある場合や、確率密度が滑らかでない場合（一様分布の端点パラメータなど）は、この素朴な形は成り立ちません。正則条件——主に「微分と積分の順序交換が可能」「台（サポート）が $\theta$ に依存しない」——が満たされる範囲での結果である点には注意が必要です。
主張がわかったので、次はこの不等式がなぜ成り立つのかを、コーシー・シュワルツの不等式を使って一歩ずつ導いていきます。
クラメール・ラオ不等式の導出
ゴールは「不偏推定量 $\hat\theta$ について $\mathrm{Var}(\hat\theta) \geq 1/I_n(\theta)$ を示す」ことです。導出の骨格は、$\hat\theta$ とスコア $S$ という2つの確率変数の相関を、コーシー・シュワルツの不等式で評価することにあります。記法を簡単にするため、$n$ 標本のスコアを $S = \sum_i \frac{\partial \log f(X_i;\theta)}{\partial\theta}$ と書きます。
ステップ1：推定量とスコアの共分散
まず、不偏推定量 $\hat\theta$ とスコア $S$ の共分散を計算します。不偏性 $E[\hat\theta] = \theta$ の両辺を $\theta$ で微分するところから始めます。不偏性は積分形で
$$ E[\hat\theta] = \int \hat\theta(x)\, f(x;\theta)\, dx = \theta $$
と書けます（$x$ は $n$ 個の観測をまとめた記号）。両辺を $\theta$ で微分すると、右辺は $1$ になり、左辺は
$$ \int \hat\theta(x)\, \frac{\partial f(x;\theta)}{\partial\theta}\, dx = 1 $$
です。ここで対数微分の公式 $\frac{\partial f}{\partial\theta} = f \cdot \frac{\partial \log f}{\partial\theta} = f \cdot S$ を代入すると、
$$ \int \hat\theta(x)\, S(x)\, f(x;\theta)\, dx = E[\hat\theta\, S] = 1 $$
が得られます。さらにスコアの期待値がゼロ（$E[S] = 0$）であることを使うと、共分散は
$$ \begin{equation} \mathrm{Cov}(\hat\theta, S) = E[\hat\theta\, S] – E[\hat\theta]\,E[S] = 1 – \theta \cdot 0 = 1 \end{equation} $$
となります。つまり、不偏推定量とスコアの共分散は、推定量の中身によらず常に 1 です。これが導出の出発点となる重要な等式です。
ステップ2：コーシー・シュワルツの不等式
ここで、任意の2つの確率変数 $A, B$ について成り立つコーシー・シュワルツの不等式を使います。
$$ \begin{equation} \big(\mathrm{Cov}(A, B)\big)^2 \leq \mathrm{Var}(A)\, \mathrm{Var}(B) \end{equation} $$
これは「相関係数の絶対値は1以下」を変形した形で、内積空間における $|\langle a, b\rangle|^2 \leq \|a\|^2 \|b\|^2$ の確率版です。$A = \hat\theta$、$B = S$ を代入すると、
$$ \big(\mathrm{Cov}(\hat\theta, S)\big)^2 \leq \mathrm{Var}(\hat\theta)\, \mathrm{Var}(S) $$
となります。左辺はステップ1で求めた $\mathrm{Cov}(\hat\theta, S) = 1$ より $1^2 = 1$ です。また右辺の $\mathrm{Var}(S)$ は、フィッシャー情報量の定義（スコアの分散）そのものなので $\mathrm{Var}(S) = I_n(\theta)$ です。したがって、
$$ 1 \leq \mathrm{Var}(\hat\theta)\, I_n(\theta) $$
が成り立ちます。
ステップ3：下限の完成
最後の式を $I_n(\theta)$ で割れば（情報量は正なので不等号の向きは変わりません）、
$$ \begin{equation} \mathrm{Var}(\hat\theta) \geq \frac{1}{I_n(\theta)} = \frac{1}{n\, I_1(\theta)} \end{equation} $$
が得られ、クラメール・ラオの下限が導けました。
導出を振り返ると、本質はわずか3行です。「不偏性を微分すると共分散が 1 になる」「コーシー・シュワルツで共分散の2乗を分散の積で押さえる」「スコアの分散は情報量である」——この3つの事実を組み合わせるだけで、推定精度の根源的な限界が現れるのです。情報量がスコアの分散として定義されていたことが、ここで美しく効いています。
導出から自然に湧く問いがあります。コーシー・シュワルツの不等式は、いつ等号になるのでしょうか。等号が成立すれば、その推定量は下限ぴったりの分散を達成します。次はその「最良の推定量」について見ていきましょう。
有効推定量：下限を達成する推定量
クラメール・ラオの下限を等号で達成する不偏推定量を、有効推定量（efficient estimator） と呼びます。有効推定量は、その問題設定で原理的に到達できる最高の精度を持つ推定量です。
等号が成立する条件は、コーシー・シュワルツの等号条件から読み取れます。コーシー・シュワルツで等号が成り立つのは、2つの変数が線形従属のとき、すなわち $\hat\theta – \theta$ がスコア $S$ の定数倍になるときです。
$$ \begin{equation} \frac{\partial \log L(\theta)}{\partial\theta} = I_n(\theta)\, (\hat\theta – \theta) \end{equation} $$
この形——スコアが「(情報量) × (推定量 − 真値)」と書ける——が満たされるとき、$\hat\theta$ は有効推定量になります。指数型分布族の自然パラメータについては、この条件がきれいに満たされることが知られています。
推定量の良し悪しを定量化するために、効率（efficiency） という指標を導入します。CR下限を実際の分散で割った値です。
$$ \begin{equation} e(\hat\theta) = \frac{1/I_n(\theta)}{\mathrm{Var}(\hat\theta)} \end{equation} $$
効率は $0 < e \leq 1$ の値をとり、$e = 1$ なら有効推定量、$e < 1$ なら下限に届いていない非効率な推定量です。たとえば $e = 0.5$ なら、その推定量は有効推定量の2倍の分散を持つ——同じ精度を出すのに2倍のデータが必要、という解釈になります。
上の図は、正規分布 $N(\mu, 1)$ の平均推定で、標本平均（青）と標本中央値（オレンジ）の分布を比較したものです。どちらも不偏ですが、左の図を見ると中央値のほうが裾が広く、ばらつきが大きいことがわかります。右の棒グラフでは、標本平均の分散がCR下限 $1/n$ にほぼ一致する（効率約100%）のに対し、中央値の効率は約64%にとどまります。これは正規分布における中央値の漸近効率 $2/\pi \approx 0.637$ という理論値とよく一致しています。標本平均が「平均の推定では最良」だと、数値的にも裏付けられました。
有効推定量がいつでも存在するとは限りません。小標本では下限を達成する推定量が存在しないこともあります。ところが、サンプル数を大きくすると話が変わります。最尤推定量（MLE）は、$n \to \infty$ で下限を達成する——この「漸近効率性」こそ、MLEが統計学の主役である理由の1つです。次節で詳しく見ましょう。
最尤推定量の漸近効率性
最尤推定量（MLE）は、尤度を最大にするパラメータを推定値とする方法でした。MLEには、大標本において理想的な性質があります。漸近正規性と漸近効率性です。
正則条件のもとで、MLE $\hat\theta_{\text{MLE}}$ は $n \to \infty$ で次の分布に収束します。
$$ \begin{equation} \sqrt{n}\,(\hat\theta_{\text{MLE}} – \theta) \xrightarrow{d} N\!\left(0,\ \frac{1}{I_1(\theta)}\right) \end{equation} $$
これを言い換えると、大標本でのMLEの分散はおよそ
$$ \mathrm{Var}(\hat\theta_{\text{MLE}}) \approx \frac{1}{n\, I_1(\theta)} $$
となります。右辺はまさにクラメール・ラオの下限です。つまりMLEは漸近的に有効推定量である——$n$ を大きくすれば、MLEの分散はCR下限に限りなく近づきます。これがMLEの漸近効率性です。たとえ小標本では下限に届かなくても、データを集めれば「最良」に到達できるという保証は、実務上とても心強い性質です。
上の図は、指数分布のレート $\lambda = 1.5$ をMLE（$\hat\lambda = 1/\bar X$）で推定したときの、推定値の分布を $n = 5, 30, 200$ について示したものです。$n = 5$ では分布が右に歪んでいますが、$n$ が増えるにつれて理論曲線 $N(\lambda, \lambda^2/n)$ に近づき、$n = 200$ ではほぼ完全に一致します。MLEの分散が漸近的にCR下限 $\lambda^2/n$ を達成する様子が、はっきり読み取れます。
漸近正規性の根拠を、対数尤度のテイラー展開から大まかに見ておきましょう。MLEの定義より $\ell'(\hat\theta) = 0$ です。これを真値 $\theta$ のまわりで1次までテイラー展開すると、
$$ 0 = \ell'(\hat\theta) \approx \ell'(\theta) + \ell”(\theta)\,(\hat\theta – \theta) $$
となります。これを $\hat\theta – \theta$ について解くと、
$$ \hat\theta – \theta \approx -\frac{\ell'(\theta)}{\ell”(\theta)} $$
です。ここで分子 $\ell'(\theta)$ はスコアの和で、中心極限定理により正規分布に近づきます（平均0、分散 $n I_1$）。分母 $-\ell”(\theta)$ は大数の法則により $n I_1$ に近づきます。したがって $\hat\theta – \theta$ は平均0、分散 $n I_1 / (n I_1)^2 = 1/(n I_1)$ の正規分布に漸近する——これが漸近正規性と漸近効率性の正体です。
MLEがなぜ統計学で重宝されるのか、その理由の1つがこの漸近効率性にありました。次は、これまで抽象的に語ってきた下限を、具体的な分布で計算してみましょう。
分散減少のスケーリング
具体例に入る前に、CR下限の最も実用的な側面——サンプル数と分散の関係——を確認しておきます。下限は $1/(n I_1(\theta))$ ですから、分散は $n$ に反比例して減ります。
これは設計判断に直結します。「推定の標準偏差（分散の平方根）を半分にしたい」なら、分散を $1/4$ にする必要があり、そのためにはサンプル数を4倍にしなければなりません。精度を10倍にするには、データを100倍——この「2乗のペナルティ」が、高精度推定がコスト高になる根本理由です。
左の図は、フィッシャー情報量 $I$ の異なる3つの場合について、CR下限 $1/(nI)$ がサンプル数 $n$ とともに減る様子です。情報量が大きい曲線（赤）ほど、同じ $n$ で低い分散を達成できます。右の図は同じデータを両対数軸で描いたもので、すべての曲線が傾き $-1$ の直線になっています。これは $\log(\text{分散}) = -\log n + \text{定数}$ という $1/n$ 則の現れです。「データを100倍にすれば分散は1/100」という、実務で頻繁に使う経験則が、ここに数式として刻まれています。
スケーリングの感覚が掴めたところで、いよいよ代表的な分布で下限を具体的に計算します。正規分布、ベルヌーイ分布、ポアソン分布の3つを順に見ていきましょう。
具体例：正規・ベルヌーイ・ポアソン
正規分布の平均
正規分布 $N(\mu, \sigma^2)$（$\sigma^2$ は既知）から $n$ 個のデータを得て、平均 $\mu$ を推定する場合を考えます。1標本の対数尤度は
$$ \log f(x;\mu) = -\frac{1}{2}\log(2\pi\sigma^2) – \frac{(x-\mu)^2}{2\sigma^2} $$
です。$\mu$ で微分してスコアを求めると $\frac{\partial \log f}{\partial\mu} = \frac{x-\mu}{\sigma^2}$、もう一度微分すると $\frac{\partial^2 \log f}{\partial\mu^2} = -\frac{1}{\sigma^2}$ です。これは $x$ によらない定数なので、フィッシャー情報量は
$$ I_1(\mu) = -E\!\left[-\frac{1}{\sigma^2}\right] = \frac{1}{\sigma^2} $$
となります。よってCR下限は $\mathrm{Var}(\hat\mu) \geq \sigma^2/n$ です。標本平均 $\bar X$ の分散はまさに $\sigma^2/n$ ですから、標本平均は有効推定量です。先ほどの図で見たとおり、平均推定では標本平均に勝るものはありません。
正規分布の分散
同じ正規分布で、今度は分散 $\sigma^2$ を推定します（$\mu$ は既知とします）。$\theta = \sigma^2$ とおいて対数尤度を $\theta$ で2回微分し、期待値をとると、フィッシャー情報量は
$$ I_1(\sigma^2) = \frac{1}{2\sigma^4} $$
と求まります。したがって分散のCR下限は $\mathrm{Var}(\hat{\sigma^2}) \geq 2\sigma^4/n$ です。平均の下限 $\sigma^2/n$ と比べると、分散の推定は $\sigma^2$ が大きいほど（$\sigma^4$ に比例して）難しくなることがわかります。
上の図は、正規分布のフィッシャー情報量を2つのパラメータについて描いたものです。左は平均の情報量 $I(\mu) = 1/\sigma^2$ で、標準偏差 $\sigma$ が小さい（ばらつきの少ない観測）ほど情報量が大きく、平均を精度よく推定できることを示します。右は分散の情報量 $I(\sigma^2) = 1/(2\sigma^4)$ で、真の分散が大きいほど情報量が急速に減り、分散の推定が難しくなる様子が読み取れます。
ベルヌーイ分布
成功確率 $p$ のベルヌーイ試行で、$p$ を推定します。1標本の確率は $f(x;p) = p^x (1-p)^{1-x}$、対数をとると $\log f = x\log p + (1-x)\log(1-p)$ です。スコアは $\frac{\partial \log f}{\partial p} = \frac{x}{p} – \frac{1-x}{1-p}$。これをもう一度微分して符号を反転し、期待値 $E[X] = p$ を代入すると、
$$ I_1(p) = \frac{1}{p(1-p)} $$
が得られます。したがってCR下限は $\mathrm{Var}(\hat p) \geq p(1-p)/n$ です。標本平均（成功割合）$\hat p = \bar X$ の分散は $p(1-p)/n$ なので、標本割合は有効推定量です。冒頭の不良率推定の例で言えば、「検査した部品の不良割合をそのまま使う」のが最良の方法だったわけです。注目すべきは、情報量 $1/(p(1-p))$ が $p = 0.5$ で最小、$p$ が0や1に近いほど大きくなる点です。極端な確率（ほぼ起きない／ほぼ確実な事象）のほうが、少ないデータで精度よく推定できるのです。
ポアソン分布
平均 $\lambda$ のポアソン分布で $\lambda$ を推定します。確率質量関数は $f(x;\lambda) = e^{-\lambda}\lambda^x/x!$、対数をとると $\log f = -\lambda + x\log\lambda – \log(x!)$ です。スコアは $\frac{\partial \log f}{\partial\lambda} = -1 + \frac{x}{\lambda}$、2階微分は $-\frac{x}{\lambda^2}$ で、期待値 $E[X] = \lambda$ を代入すると、
$$ I_1(\lambda) = -E\!\left[-\frac{X}{\lambda^2}\right] = \frac{\lambda}{\lambda^2} = \frac{1}{\lambda} $$
となります。よってCR下限は $\mathrm{Var}(\hat\lambda) \geq \lambda/n$ です。標本平均 $\bar X$ の分散は、ポアソン分布の分散が $\lambda$ であることから $\lambda/n$ となり、これも下限を達成します。ポアソンの標本平均も有効推定量です。
3つの分布すべてで、素直な推定量（標本平均・標本割合）が有効推定量になっていました。これは偶然ではなく、これらが指数型分布族に属し、十分統計量に基づく推定量が最良性を持つことの現れです。
ここまでは1つのパラメータを推定する場合でした。実際には平均と分散を同時に推定するように、複数のパラメータを扱うことがよくあります。次は多次元への拡張を見ましょう。
多次元への拡張：フィッシャー情報行列
パラメータが $\boldsymbol\theta = (\theta_1, \dots, \theta_k)^\top$ のようにベクトルの場合、フィッシャー情報量はフィッシャー情報行列 $\boldsymbol{\mathcal{I}}(\boldsymbol\theta)$ という $k \times k$ 行列に拡張されます。その $(i,j)$ 成分は、
$$ \begin{equation} [\boldsymbol{\mathcal{I}}(\boldsymbol\theta)]_{ij} = E\!\left[ \frac{\partial \log f}{\partial\theta_i}\, \frac{\partial \log f}{\partial\theta_j} \right] = -E\!\left[ \frac{\partial^2 \log f}{\partial\theta_i\, \partial\theta_j} \right] \end{equation} $$
で定義されます。対角成分が各パラメータ単独の情報量、非対角成分がパラメータ間の「絡み合い」を表します。
多次元のクラメール・ラオ不等式は、不偏推定量ベクトル $\hat{\boldsymbol\theta}$ の共分散行列が、情報行列の逆行列を下回らないことを主張します。
$$ \begin{equation} \mathrm{Cov}(\hat{\boldsymbol\theta}) \succeq \boldsymbol{\mathcal{I}}(\boldsymbol\theta)^{-1} \end{equation} $$
ここで記号 $\succeq$ は「行列の差 $\mathrm{Cov}(\hat{\boldsymbol\theta}) – \boldsymbol{\mathcal{I}}^{-1}$ が半正定値である」ことを意味します。これは、任意の方向ベクトル $\boldsymbol a$ について $\boldsymbol a^\top \mathrm{Cov}(\hat{\boldsymbol\theta})\, \boldsymbol a \geq \boldsymbol a^\top \boldsymbol{\mathcal{I}}^{-1} \boldsymbol a$ が成り立つこと——つまり「どの方向の線形結合をとっても、その分散は下限以上」という強い主張です。特に対角成分を見ると、各パラメータ単独の分散について $\mathrm{Var}(\hat\theta_i) \geq [\boldsymbol{\mathcal{I}}^{-1}]_{ii}$ が言えます。
正規分布 $N(\mu, \sigma^2)$ で平均と分散を同時に推定する場合を計算してみましょう。対数尤度を $\mu$ と $\sigma^2$ で2回ずつ微分して期待値をとると、$n$ 標本の情報行列は対角行列になります。
$$ \boldsymbol{\mathcal{I}}(\mu, \sigma^2) = \begin{pmatrix} \dfrac{n}{\sigma^2} & 0 \\[2mm] 0 & \dfrac{n}{2\sigma^4} \end{pmatrix} $$
非対角成分が0であることは重要です。これは「平均の推定誤差と分散の推定誤差が（漸近的に）独立」であることを意味します。逆行列をとれば、CR下限の共分散行列は
$$ \boldsymbol{\mathcal{I}}^{-1} = \begin{pmatrix} \dfrac{\sigma^2}{n} & 0 \\[2mm] 0 & \dfrac{2\sigma^4}{n} \end{pmatrix} $$
となり、対角成分は先ほど1次元で求めた $\sigma^2/n$ と $2\sigma^4/n$ にぴったり一致します。
上の図は、正規分布の $(\mu, \sigma^2)$ を同時推定したときの、推定値の散らばり（灰色の点）と、情報行列が定めるCR下限の95%不確かさ楕円（青）を重ねたものです。情報行列が対角なので楕円の軸は座標軸に揃っており、横軸方向（平均の誤差）と縦軸方向（分散の誤差）が独立に下限で抑えられている様子がわかります。赤い矢印が平均の標準偏差の下限 $\sqrt{1/I_{\mu\mu}}$、オレンジの矢印が分散の標準偏差の下限 $\sqrt{1/I_{\sigma^2\sigma^2}}$ に対応します。情報行列の逆行列が、推定の不確かさの「形」をそのまま決めているのです。
理論が一通り揃いました。最後に、これまでの主張をPythonでモンテカルロ検証し、推定量の分散が本当に下限に張り付くことを自分の目で確かめましょう。
Pythonでの実装
スコアの期待値とフィッシャー情報量の数値確認
まず、スコアの期待値がゼロになること、そしてスコアの分散がフィッシャー情報量に一致することを、正規分布で数値的に確かめます。
import numpy as np
rng = np.random.default_rng(0)
# 正規分布 N(mu, sigma^2)、mu を推定対象とする
mu_true, sigma = 2.0, 1.5
n_samples = 2_000_000
# 1標本のスコア s(x;mu) = (x - mu) / sigma^2
x = rng.normal(mu_true, sigma, size=n_samples)
score = (x - mu_true) / sigma**2
# スコアの期待値は理論上 0
print(f"スコアの期待値 = {score.mean():.5f}（理論値: 0）")
# スコアの分散 = フィッシャー情報量 I(mu) = 1/sigma^2
I_emp = score.var()
I_theory = 1.0 / sigma**2
print(f"スコアの分散（実測）= {I_emp:.5f}")
print(f"フィッシャー情報量 1/sigma^2 = {I_theory:.5f}")
このコードを実行すると、スコアの期待値はほぼ0（$10^{-3}$ オーダーの誤差）、スコアの分散は理論値 $1/\sigma^2 = 1/2.25 \approx 0.4444$ にきわめて近い値が出力されます。スコアの期待値ゼロという性質と、「スコアの分散こそがフィッシャー情報量」という定義が、シミュレーションで裏付けられました。
推定量の分散がCR下限を達成することの検証
次に、ベルヌーイ・ポアソン・正規それぞれで、標本平均の分散がCR下限に一致するかをモンテカルロで確認します。これがこの記事の核心の検証です。
import numpy as np
rng = np.random.default_rng(13)
n = 50 # 1回の推定に使うサンプル数
n_trials = 40000 # 推定を繰り返す回数
# --- ベルヌーイ p=0.4: CR下限 = p(1-p)/n ---
p = 0.4
phat = rng.binomial(n, p, size=n_trials) / n
crlb_bern = p * (1 - p) / n
print(f"ベルヌーイ: 実測={phat.var():.5f}, CR下限={crlb_bern:.5f}, "
f"効率={crlb_bern/phat.var():.3f}")
# --- ポアソン lambda=2.5: CR下限 = lambda/n ---
lam = 2.5
lhat = rng.poisson(lam, size=(n_trials, n)).mean(axis=1)
crlb_pois = lam / n
print(f"ポアソン: 実測={lhat.var():.5f}, CR下限={crlb_pois:.5f}, "
f"効率={crlb_pois/lhat.var():.3f}")
# --- 正規 mu=0, sigma=1.5: CR下限 = sigma^2/n ---
sig = 1.5
mhat = rng.normal(0, sig, size=(n_trials, n)).mean(axis=1)
crlb_norm = sig**2 / n
print(f"正規の平均: 実測={mhat.var():.5f}, CR下限={crlb_norm:.5f}, "
f"効率={crlb_norm/mhat.var():.3f}")
実行すると、3つの分布すべてで効率が1.00前後（だいたい0.98〜1.02の範囲）になります。標本平均・標本割合の実測分散が、計算で求めたCR下限とほぼ完全に一致するのです。これは「これらの推定量が有効推定量である」という理論的主張の、最も直接的な数値的証拠です。多少のずれはモンテカルロのサンプリング誤差によるもので、試行回数を増やせばさらに1.0に近づきます。
サンプル数に対する分散の振る舞い
最後に、サンプル数 $n$ を変えながら、ポアソン分布の標本平均の分散がCR下限 $\lambda/n$ をどう追従するかを可視化します。
import numpy as np
import matplotlib.pyplot as plt
# 日本語フォント設定
import matplotlib
for cand in ["Hiragino Sans", "Yu Gothic", "Noto Sans CJK JP", "IPAexGothic", "Meiryo"]:
if any(cand == f.name for f in matplotlib.font_manager.fontManager.ttflist):
plt.rcParams["font.family"] = cand
break
plt.rcParams["axes.unicode_minus"] = False
rng = np.random.default_rng(11)
lam = 4.0
ns = np.array([2, 5, 10, 20, 50, 100, 200])
n_trials = 20000
emp_var = []
for nn in ns:
est = rng.poisson(lam, size=(n_trials, nn)).mean(axis=1)
emp_var.append(est.var())
emp_var = np.array(emp_var)
crlb = lam / ns # CR下限
plt.figure(figsize=(9, 5))
plt.loglog(ns, crlb, "o-", color="#d62728", lw=2.4, ms=7, label="CR下限 $\\lambda/n$")
plt.loglog(ns, emp_var, "s", color="#2ca02c", ms=9, label="標本平均の実測分散")
plt.xlabel("標本数 $n$（対数軸）")
plt.ylabel("分散（対数軸）")
plt.title("推定限界の数値検証（ポアソン $\\lambda=4$）")
plt.legend(fontsize=11)
plt.grid(alpha=0.3, which="both")
plt.tight_layout()
plt.show()
このグラフでは、緑の四角（実測分散）が赤い線（CR下限）の上にぴったり乗っています。両対数軸で見ると両者は傾き $-1$ の同じ直線を描いており、$n$ をどの値にしても標本平均はCR下限を達成していることがわかります。各点に付した比（実測 / 下限）はすべて1.0前後で、サンプリング誤差の範囲で完全に一致しています。理論で導いた「不偏推定量の分散には $1/(nI)$ の床がある」という主張が、シミュレーションで余すところなく確認できました。
まとめ
本記事では、不偏推定量の精度の理論的限界であるクラメール・ラオの下限について、定義から導出、具体例、実装まで解説しました。
- スコア関数は対数尤度の $\theta$ に関する感度で、その期待値はゼロ、分散がフィッシャー情報量 $I(\theta)$ になる。$I(\theta)$ は対数尤度のピークでの曲率（尖り具合）として幾何学的に理解できる。
- クラメール・ラオ不等式 $\mathrm{Var}(\hat\theta) \geq 1/(n I_1(\theta))$ は、不偏推定量の分散の越えられない床を与える。導出の本質は「不偏性の微分でスコアとの共分散が1になる」「コーシー・シュワルツで押さえる」「スコアの分散は情報量」の3点。
- 下限を等号で達成する推定量が有効推定量であり、MLEは漸近的に有効——大標本では必ず下限に到達する。
- 正規分布の平均（$I=1/\sigma^2$）・分散（$I=1/(2\sigma^4)$）、ベルヌーイ（$I=1/(p(1-p))$）、ポアソン（$I=1/\lambda$）の標本平均は、いずれも有効推定量。
- 多次元ではフィッシャー情報行列に拡張され、共分散行列の下限は情報行列の逆行列で与えられる。
- 分散は $1/n$ で減るため、精度を2倍にするにはデータが4倍必要。
クラメール・ラオの下限は、「自分の推定量がこれ以上改善できるのか」という問いに決着をつける道具です。下限を達成していれば設計は完成、達していなければ改善の余地がある——この判断基準は、信号処理から実験計画まで広く役立ちます。
次のステップとして、以下の記事も参考にしてください。