情報理論や確率変数のKLダイバージェンス(カルバック・ライブラー情報量)を解説

KLダイバージェンス(Kullback-Leibler divergence, KL情報量)は、2つの確率分布の距離を表す統計量として、統計学や機械学習分野で頻出の統計量となっています。

KLダイバージェンスを$D_{KL}$としたとき、2つの確率変数分布の距離の概念図としては、下記の図の矢印に相当するのがKLダイバージェンスになります。

他の統計量として代表的なものに、期待値や分散、エントロピーなどがありますが、これらはある1つの確率変数の統計的性質を示す統計量ですが、KLダイバージェンス(KL情報量)は、共分散と同じように、2つの確率変数の関係性を表す統計量となっています。

今回は、この2つの確率分布の距離を表現する尺度として頻繁に登場するKLダイバージェンス(KL情報量)の定義や覚えておくべき性質についてまとめていきます。

KLダイバージェンス(KL情報量)の定義

まず最初に、KLダイバージェンスの定義式を示します。

まず、2つの確率変数$P$と$Q$において、その確率変数を$p(x)$、$q(x)$で表現すると、KLダイバージェンスは下記にような定義されます。

\begin{equation}
\begin{split}
KL[q(x)|p(x)] &= - \int q(x) ln \frac{p(x)}{q(x)}dx  \\
&= \int q(x) ln \frac{q(x)}{p(x)}dx 
\end{split}
\end{equation}

\begin{equation}
\begin{split}
KL[Q(x)|P(x)] &= - \sum Q(x) ln \frac{P(x)}{Q(x)}dx  \\
&= \sum Q(x) ln \frac{Q(x)}{P(x)}dx 
\end{split}
\end{equation}

確率変数のとりうる値が連続的か、離散的かで定義式が変わってくるので、これらを区別して覚えておくようにしましょう。

KLダイバージェンス(KL情報量)の定義式の覚え方

(1),(2)でKL情報量の定義式を示しましたが、なかなか式では覚えにくいと覚えます。

多分この辺りは1回で理解できて暗記できるようになる人はほとんどいないですし、KL情報量は参考書や論文等で本当に頻出なので、気づいたら自然と覚える人が多いと思います。

または、次のようにビジュアルで理解してもよいかもしれません。

KL情報量の先にくる確率分布(下式のところの$q(x)$) が、積分の中身の中に2回登場し、後にくる確率分布(下式のところの$p(x)$) は、分母に1回だけ登場するといった具合です。

とはいえ、この辺りはKL情報量に何度も触れ合っているうちに自然と覚えるものなので安心してください。統計検定や大学の試験などで覚える必要がある人は、気合いで覚えてください。

KLダイバージェンス(KL情報量)の性質

続いて、KLダイバージェンスの性質についてまとめます。

といっても、覚えるというよりは、こういうものなんだなという理解で大丈夫だと思います。

同じ確率分布のKLダイバージェンスの値

\begin{equation}
\operatorname{KL}[p(x)|p(x)]  = 0
\end{equation}

これはまた逆も然りであり、ある確率分布$p(x)$と$q(x)$のKL情報量が0の時、$p(x) = q(x)$が成り立ちます。

\begin{split}
KL[p(x)|p(x)] &= \int p(x) ln \frac{p(x)}{p(x)}dx  \\
&= \int p(x) ln 1 dx= 0
\end{split}

証明は$p(x)$が連続分布の場合でやりましたが、離散的な確率分布でも同様です。

KLダイバージェンスの値の範囲

KLダイバージェンスの続いての性質ですが、KLダイバージェンスは常に正の実数をとる性質があります。いわゆる非負性と呼ばれる性質です。

\begin{equation}
\operatorname{KL}[q(x)|p(x)]  \geq  0
\end{equation}