KLダイバージェンス完全ガイド — 確率分布間の情報量距離を直感で理解する
ある言語モデルが「次に来る単語」の確率を予測したとします。$P$ を真の分布、$...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
【機械学習】正規分布で可視化することでKL情報量を理解する
機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れない...
確率変数のエントロピーとは？確率分布における情報量まとめ
確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピー...