確率変数$X$を線形変換するとは次のような操作を指します。 例えば、恣意的な設定ですが、くじ引きを引いた時、出た目の数$x$に対して賞金が$y = 100 x + 2000$円もらえるようなくじがあるとします。この時、出 […]
統計学や確率の勉強を始めると、周辺化(marginalization)や周辺分布(周辺確立分布, marginal probability distribution)という概念がしばしば登場します。 確率や統計学を扱うテ […]
|カテゴリー:確率分布
条件付き期待値(conditional expectation)は、機械学習や統計の勉強をしているとしばしば訪れますが、なかなか理解するのに苦労する概念だと思います。 私自身も機械学習の勉強をしていて、有名なPRMLで条 […]
ポアソン分布(poisson distribution)は、時間的にランダムに発生するような事象を記述するような確率分布です。 単位時間に何回イベントが発生するかを記述できる確率分布なので、例えばよくポアソン分布を用いて […]
KLダイバージェンス(Kullback-Leibler divergence, KL情報量)は、2つの確率分布の距離を表す統計量として、統計学や機械学習分野で頻出の統計量となっています。 KLダイバージェンスを$D_{K […]
確率変数の期待値には、基本的な性質がいくつかあります。 まず確率変数について軽くおさらいした後で、確率変数の期待値について成り立つ性質を見ていきましょう。 期待値の言葉の定義 期待値はざっくりいうと、確率分布の性質を表す […]
統計が機械学習を勉強する上で、まず最初に登場する難解な概念として、確率変数と確率分布があります。 確率変数と確率分布は、確率の概念として基本のキであり絶対に理解する必要性がある概念ですが、一歩でこの確率変数と確率分布につ […]