確率変数$X$を線形変換するとは次のような操作を指します。 例えば、恣意的な設定ですが、くじ引きを引いた時、出た目の数$x$に対して賞金が$y = 100 x + 2000$円もらえるようなくじがあるとします。この時、出 […]
LSTMは深層学習を用いた時系列データなどの予測モデルに利用できる手法で、RNNが抱える問題点を改善する手法となっています。 さまざまな論文等でLSTMがベースラインで利用されるなど、広く利用されている手法です。 今回は […]
確率変数の共分散(covariance)とは、2つの確率変数$X$、$Y$が存在した時に、これらの2つの値がどのように変動したかを示す量となっています。 例えば、確率変数 $X$、$Y$から同時にある値$x$、$y$を取 […]
今回の記事では、指数型分布族(exponential family)について解説していきます。中々聞き慣れない用語かもしれませんが、指数型分布族は、下記のような形式をとる確率分布の総称のことを示します。 ちなみに今回解説 […]
統計や機械学習で確率分布を扱う際には、モーメントという概念がしばしば登場します。 モーメント(積率) は、その確率分布の期待値や分散、歪度、尖度といった統計量を導出することができ、実用上非常に便利で重要な概念です。 しか […]
多変量ガウス分布の周辺化は、かの有名なPRMLでも登場する概念です。 計算的にも結構しんどい内容が多く、意外と多くの人が飛ばしてしまっている内容なんじゃないのかなと思います。しかし、ガウス過程やカルマンフィルタの導出や概 […]
多項分布は、よく、出る目が歪なサイコロを振った時に、各目が何回出るかを表現する確率分布として例えられます。 初見で勉強するとなかなか式の形が複雑であることや、出る目が歪なサイコロなんて現実世界ではあまり扱うこともないこと […]
指数分布(exponential distribution)について解説します。 指数分布はランダムな現状が起こる状況の定式化によく使われるような分布です。 現象としては、単位時間あたりイベントが$\lambda$回起こ […]
機械学習の分野を勉強していると、一度は目にすることがあるディリクレ分布 (Dirichlet distribution) カテゴリカル分布や多項分布のパラメータを表現する共役事前分布になる性質もあり、ベイズ推定の分野でも […]
実務でデータ解析や機械学習のコードを書くなり調査したりしていると、特定の乱数を生成したくなる場面に毎日のように遭遇すると思います。 その都度ネットでググって、コードに打ち込んだ次の瞬間には忘却しているような気がしているの […]