確率や条件付き確率(conditional probability)を勉強していて度々登場する、確率、あるいは条件付き確率の連鎖律について説明します。条件付き確率は、下記のような定義となっています。
条件付き確率の定義式
まず、確率の連鎖律の説明に入る前に、条件付き確率の定義式についておさらいしましょう。条件付き確率の定義は、このようになっています。
\begin{equation} P(A|B) = \frac{P(A, B)}{P(B)} \end{equation}
条件付き確率の連鎖律(chain rule)
AとBの同時確率である (1)式は、条件付き確率を用いると、下記のように変形することができます。
\begin{equation} P(A, B) = P( B | A ) P(A) \end{equation}
同時確率(joint probability) は、条件付き確率を用いて表すことができます。
今後は(2)のように、A, B, C の3つの事象の同時確率を条件付き確率で表してみましょう。
\begin{equation} \begin{split} P(A, B, C) &= P( A | B, C ) P(B, C) \\ &= P(A | B, C) P(B | C) P(C) \\ &= P(A| B, C) P(C | B) P (B) \end{split} \end{equation}
このように、書くことができます。ここで、より一般的にn個の確率変数$A_1, A_2, … , A_n$ を考えてみましょう。
n個の確率変数における連鎖律
\begin{equation} \begin{split} P(A_1, A_2, A_3, ..., A_{n-1},A_n) &= P(A_1 | A_2, ... , A_n) \space P(A_2, ..., A_n) \\ &= P(A_1 | A_2, ... , A_n) P(A_2 | A_3, ... , A_n) P(A_3, ..., A_n) \\ &= \space \dots \\ &= P(A_1 | A_2, ... , A_n) P(A_2 | A_3, ... , A_n) P(A_3 | A_4, ..., A_n) ... P(A_{n-1} | A_n)P(A_n) \end{split} \end{equation}
いわゆる、これが条件付き確率の連鎖律となります。意味としては、確率変数の同時分布は、条件付き確率を用いて書き表せるという形になっています。
この公式は、ベイジアンネットの導出や、その他ベイズ推論の手法の最新論文を読む際などにもよく登場する内容となっているので、一度(4)式を自分の手で変形してみて、確認してみると良いでしょう。