交差エントロピーを完全理解 — 情報理論からの導出と実装
機械学習の分類問題で「交差エントロピー損失を最小化する」というフレーズをよく耳に...
決定木の理論と実装 — エントロピー・ジニ不純度・情報利得
「この患者は病気かどうか」を判定するとき、医師は一連の質問を繰り返して診断を絞り...
softmaxの温度とattentionエントロピー — 注意の「集中・分散」を定量化する
同じアテンションスコアを見ても、あるヘッドは1つのトークンだけをじっと見つめ、別...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
相互情報量とは？定義と性質をわかりやすく解説
2つの確率変数がどの程度「関連し合っている」かを定量的に測りたい場面は、情報理論...
決定木とランダムフォレストをわかりやすく解説
決定木（Decision Tree）は、「もし特徴量 $x_1$ が閾値 $t$...
自己情報量とエントロピーの定義をわかりやすく解説
「メッセージにどれだけの情報が含まれているか」を、数で測れたら便利だと思いません...
ベルヌーイ分布とは？期待値・分散・エントロピーまでわかりやすく解説
コインを1回投げて表が出るか裏が出るか。広告を1回表示してクリックされるかされな...
最大エントロピー原理と指数型分布族 — 「偏りのない推定」の数学
サイコロを投げたとき、各目が出る確率はどのように推定すればよいでしょうか。何の情...
交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...