機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れないといえるほど、KL情報量は非常に重要な概念です。 そのため、さまざまな参考書等で、KL情報量について説明されています。 だいたい次のような定 […]
2022/11/10|カテゴリー:数学 , 機械学習 , 確率 , 統計学
確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピーという統計量 $H[X]$を定義します。 連続確率変数のエントロピーの定義 離散確率変数のエントロピーの定義 このエントロピーは、1つの確率 […]
2022/07/23|カテゴリー:数学 , 機械学習 , 確率 , 統計学