交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...
最大エントロピー原理と指数型分布族 — 「偏りのない推定」の数学
サイコロを投げたとき、各目が出る確率はどのように推定すればよいでしょうか。何の情...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
カルノーサイクルの理論と熱効率を完全理解する
火力発電所の熱効率はおおよそ35〜42%です。残りの55〜65%のエネルギーは、...
エントロピーの定義と物理的意味を徹底解説
熱いコーヒーをテーブルの上に置くと、やがて冷めて室温になります。しかし、室温のコ...
相互情報量の定義と応用
相互情報量は「2つの確率変数がどれだけ情報を共有しているか」を測る量です。相関係...
ハフマン符号の理論と実装をわかりやすく解説
ハフマン符号（Huffman coding）は、1952年にデイヴィッド・ハフマ...
情報源符号化定理（シャノンの第1定理）を解説
データ圧縮の理論的限界はどこにあるのでしょうか。シャノンの情報源符号化定理（Sh...
決定木とランダムフォレストをわかりやすく解説
決定木（Decision Tree）は、「もし特徴量 $x_1$ が閾値 $t$...
ベルヌーイ分布とは？期待値・分散・エントロピーまでわかりやすく解説
ベルヌーイ分布(Bernoulli distribution)は0か1かの2値を...