確率変数の共分散(covariance)とは、2つの確率変数$X$、$Y$が存在した時に、これらの2つの値がどのように変動したかを示す量となっています。 例えば、確率変数 $X$、$Y$から同時にある値$x$、$y$を取 […]
深層学習や機械学習などの論文を読んでいると、多変量正規分布のKL情報量について、あたかも知ってて当然かのような書き振りで、結論だけを提示されており、途方に暮れる人も多いのではないでしょうか。 今回は、2つの異なる多変量正 […]
機械学習分野で登場する、基底関数(basis function)について、整理し、Pythonを用いて可視化していきます。 基底関数はカーネル法と関連があることや、線形基底関数モデルなどの回帰モデルもあるなど登場頻度は低 […]
機械学習や統計学を学んでいると、デザイン行列(design matrix)と呼ばれる行列が登場します。 デザイン行列は、計画行列とも呼ばれており、単回帰、重回帰分析などの一般線形モデル等でもでよく登場します。 このデザイ […]
｜カテゴリー：統計学
多項分布は、よく、出る目が歪なサイコロを振った時に、各目が何回出るかを表現する確率分布として例えられます。 初見で勉強するとなかなか式の形が複雑であることや、出る目が歪なサイコロなんて現実世界ではあまり扱うこともないこと […]
人間の身長・体重を集めたデータセットの中で最も有名なデータセットの1つにDavisというデータセットがあります。 しばしば機械学習や統計学の教科書、さらには論文などの多く登場するため、目にしたことがある人も多いのではない […]
｜カテゴリー：データセット
機械学習の勉強をしていると、まず最初に登場するのが、Irisデータセットではないでしょうか。 今回は、Irisデータセットを手軽に用意する方法についてまとめます。 Irisデータセットを用意する方法は多数ありますが、今回 […]
ベイズ推定などを勉強すると、頻繁に登場することになる逆ガンマ分布。 今回は、逆ガンマ分布が理解できるよう、期待値や分散など基本的な統計量から始まり、ガンマ分布との関係性について解説していきます。 逆ガンマ分布の確率密度関 […]
機械学習を勉強する上で、二項分布を学ぶことは非常に重要です。 二項分布はよくコイン投げを複数回行った時に、表が何回出る確率を表現するような確率分布です。 ベイズ推定などを勉強している人は、二項分布とその共役事前分布である […]
KLダイバージェンス(Kullback-Leibler divergence, KL情報量)は、2つの確率分布の距離を表す統計量として、統計学や機械学習分野で頻出の統計量となっています。 KLダイバージェンスを$D_{K […]