softmaxの温度とattentionエントロピー — 注意の「集中・分散」を定量化する
同じアテンションスコアを見ても、あるヘッドは1つのトークンだけをじっと見つめ、別...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
相互情報量とは？定義と性質をわかりやすく解説
2つの確率変数がどの程度「関連し合っている」かを定量的に測りたい場面は、情報理論...
決定木とランダムフォレストをわかりやすく解説
決定木（Decision Tree）は、「もし特徴量 $x_1$ が閾値 $t$...
自己情報量とエントロピーの定義をわかりやすく解説
「メッセージにどれだけの情報が含まれているか」を、数で測れたら便利だと思いません...
ベルヌーイ分布とは？期待値・分散・エントロピーまでわかりやすく解説
コインを1回投げて表が出るか裏が出るか。広告を1回表示してクリックされるかされな...
最大エントロピー原理と指数型分布族 — 「偏りのない推定」の数学
サイコロを投げたとき、各目が出る確率はどのように推定すればよいでしょうか。何の情...
交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...
カルノーサイクルの理論と熱効率を完全理解する
火力発電所の熱効率はおおよそ35〜42%です。残りの55〜65%のエネルギーは、...
エントロピーの定義と物理的意味を徹底解説
熱いコーヒーをテーブルの上に置くと、やがて冷めて室温になります。しかし、室温のコ...