情報量（自己情報量）の定義と直感
情報理論において「情報量」とは、ある事象がどれだけ「驚き」を含んでいるかを定量化...
【機械学習】正規分布で可視化することでKL情報量を理解する
機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れない...
確率変数のエントロピーとは？確率分布における情報量まとめ
確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピー...