深層学習や機械学習などの論文を読んでいると、多変量正規分布のKL情報量について、あたかも知ってて当然かのような書き振りで、結論だけを提示されており、途方に暮れる人も多いのではないでしょうか。 今回は、2つの異なる多変量正 […]
KLダイバージェンス(Kullback-Leibler divergence, KL情報量)は、2つの確率分布の距離を表す統計量として、統計学や機械学習分野で頻出の統計量となっています。 KLダイバージェンスを$D_{K […]
確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピーという統計量 $H[X]$を定義します。 連続確率変数のエントロピーの定義 離散確率変数のエントロピーの定義 このエントロピーは、1つの確率 […]