交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...
最大エントロピー原理と指数型分布族 — 「偏りのない推定」の数学
サイコロを投げたとき、各目が出る確率はどのように推定すればよいでしょうか。何の情...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
カルノーサイクルの理論と熱効率を完全理解する
火力発電所の熱効率はおおよそ35〜42%です。残りの55〜65%のエネルギーは、...
エントロピーの定義と物理的意味を徹底解説
熱いコーヒーをテーブルの上に置くと、やがて冷めて室温になります。しかし、室温のコ...
熱力学第2法則（クラウジウスとケルビンの表現）
熱力学第1法則はエネルギー保存を述べますが、変化の方向については何も教えてくれま...
エントロピーの定義と意味をわかりやすく解説
エントロピーは熱力学第2法則を定量的に表現する状態量です。「乱雑さの尺度」と言わ...
相互情報量の定義と応用
相互情報量は「2つの確率変数がどれだけ情報を共有しているか」を測る量です。相関係...
情報量（自己情報量）の定義と直感
情報理論において「情報量」とは、ある事象がどれだけ「驚き」を含んでいるかを定量化...
結合エントロピーと条件付きエントロピー
2つ以上の確率変数を同時に扱う場合、それらの不確実性をどう測るかが重要になります...