情報理論 の記事一覧

【機械学習】正規分布で可視化することでKL情報量を理解する

機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れないといえるほど、KL情報量は非常に重要な概念です。 そのため、さまざまな参考書等で、KL情報量について説明されています。 だいたい次のような定 […]

確率変数のエントロピーとは?確率分布における情報量まとめ

確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピーという統計量 $H[X]$を定義します。 連続確率変数のエントロピーの定義 離散確率変数のエントロピーの定義 このエントロピーは、1つの確率 […]