交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...
f-ダイバージェンスの統一理論 — KLダイバージェンスからχ²まで
2つの確率分布がどれだけ「異なる」かを測定する方法は一つではありません。統計的仮...
相互情報量の定義と応用
相互情報量は「2つの確率変数がどれだけ情報を共有しているか」を測る量です。相関係...
多変量ガウス分布のKL情報量(KLダイバージェンス)を理解する
深層学習や機械学習などの論文を読んでいると、多変量正規分布のKL情報量について、...
平均場近似による変分推論をわかりやすく解説
ベイズ推定では、事後分布 $p(\bm{z}|\bm{x})$ を求めることが中...
情報理論や確率変数のKLダイバージェンス(カルバック・ライブラー情報量)を解説
KLダイバージェンス(Kullback-Leibler divergence, ...
確率変数のエントロピーとは？確率分布における情報量まとめ
確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピー...