KLダイバージェンスとJSダイバージェンス — 確率分布間の距離と機械学習への応用
「2つの確率分布がどれだけ違うか」を数値で表したい——機械学習や統計の現場でこの...
微分エントロピーと連続確率変数の情報量を基礎から解説
コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...
凸双対とFenchel共役をわかりやすく：f-GAN・最適輸送・変分表現の母体
GAN の論文を読んでいると、突然 $\sup_T \mathbb{E}_P[T...
PAC-Bayes汎化バウンドをわかりやすく：事前分布で測る現代の汎化理論
パラメータ数がデータ数をはるかに上回るニューラルネットワークが、なぜ未知のデータ...
AIC（赤池情報量基準）とは？モデル選択の指標をわかりやすく解説
手元のデータに直線を当てはめるか、2次曲線を当てはめるか、それとも10次の多項式...
【機械学習】正規分布で可視化することでKL情報量を理解する
機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れない...
相互情報量とは？定義と性質をわかりやすく解説
2つの確率変数がどの程度「関連し合っている」かを定量的に測りたい場面は、情報理論...
自己情報量とエントロピーの定義をわかりやすく解説
「メッセージにどれだけの情報が含まれているか」を、数で測れたら便利だと思いません...
結合エントロピーと条件付きエントロピーを導出して理解する
情報理論では、1つの確率変数の不確実性をシャノンエントロピー $H(X)$ で測...
フィッシャー情報幾何学入門
正規分布 $N(\mu, \sigma^2)$ のパラメータ $(\mu, \s...