今回の記事では、指数型分布族(exponential family)について解説していきます。中々聞き慣れない用語かもしれませんが、指数型分布族は、下記のような形式をとる確率分布の総称のことを示します。

\begin{equation}
p(x | \eta) = h(x)g(\eta)exp
\bigr \{
\eta^Tu(x)
\bigr \}
\end{equation}

ちなみに今回解説する指数型分布族とは、これから解説するある形式で表現できる確率分布の総称になります。

確率分布としての指数分布とは別のものになるので注意してください。

\begin{equation}
p(x | \eta) = h(x)g(\eta)exp
\bigr \{
\eta^Tu(x)
\bigr \}
\end{equation}

指数型分布族の例

指数型分布族の例としては、ベルヌーイ分布、多項分布、ガウス分布などがあります。

これらの分布が(1)の形式になることを確認してみましょう。ひとまずベルヌーイ分布が(1)式の形式になることを確認してみましょう。

証明の際には、下記の$e$の定義から成り立つ下記の式を利用します。

\begin{equation}
x = exp
\{ 
log_{e}x
\}
\end{equation}

(2)式はまさにlogの定義そのものです。

ある数$x$に、対数をとってその後指数をとると、元の数$x$になります。この性質は、以降の証明で頻繁に使用することになります。

数型分布族の証明: ベルヌーイ分布

ベルヌーイ分布が、指数型分布族に入ることを証明していきましょう。

ベルヌーイ分布は、パラメータ$\mu$を1つとって、0~1の間の値をとる確率分布です。

\begin{equation}
Bern(x | \mu ) = \mu^x(1-\mu)^{1-x}
\end{equation}

証明

\begin{equation}
\begin{split}
 Bern(x | \mu) &= 
exp \{x ln \mu + (1-x) ln (1-\mu) \} \\
&= 
exp \{ln(1-\mu)  + x(ln \mu - ln(1-\mu) \} \\
&=  (1–\mu) exp
\biggr \{
ln \biggr (\frac{\mu}{ 1 - \mu} \biggr )x
\biggr \}

\end{split} 
\end{equation}