モンテカルロ積分は、モンテカルロ法を用いた積分計算を近似する手法です。 積分計算を近似して数値計算的に求める方法として、シンプソン法や台形公式などがありますが、モンテカルロ積分もこのような近似手法の1つです。 モンテカル […]
確率変数の共分散(covariance)とは、2つの確率変数$X$、$Y$が存在した時に、これらの2つの値がどのように変動したかを示す量となっています。 例えば、確率変数 $X$、$Y$から同時にある値$x$、$y$を取 […]
今回の記事では、指数型分布族(exponential family)について解説していきます。中々聞き慣れない用語かもしれませんが、指数型分布族は、下記のような形式をとる確率分布の総称のことを示します。 ちなみに今回解説 […]
機械学習を理解し使いこなす上で、KL情報量について理解することは避けては通れないといえるほど、KL情報量は非常に重要な概念です。 そのため、さまざまな参考書等で、KL情報量について説明されています。 だいたい次のような定 […]
pymcはベイジアンモデリングをPythonで行うためのPPL(確率的プログラミング言語)のフレームワークです。 ベイジアンモデリングは近年機械学習の有力な手法として利用されていますが、解析的に解けるわずかな例を除いて解 […]
統計や機械学習で確率分布を扱う際には、モーメントという概念がしばしば登場します。 モーメント(積率) は、その確率分布の期待値や分散、歪度、尖度といった統計量を導出することができ、実用上非常に便利で重要な概念です。 しか […]
機械学習でガウス過程回帰やカルマンフィルタの導出をまともに理解しようとすると、多変量ガウス分布の条件付き分布にぶち当たることになります。 この導出自体は非常に多くの式変形を必要とし、理解するのがなかなかカオスです。一方で […]
多項分布は、よく、出る目が歪なサイコロを振った時に、各目が何回出るかを表現する確率分布として例えられます。 初見で勉強するとなかなか式の形が複雑であることや、出る目が歪なサイコロなんて現実世界ではあまり扱うこともないこと […]
隠れマルコフモデルは、離散的な状態を仮定する、いわゆる状態空間モデルのアルゴリズムです。 学習にはベイズ推定を用います。隠れマルコフモデル自体は、時系列データの分析などで、比較的最近でも多くの論文等で登場している有名で実 […]
機械学習の分野を勉強していると、一度は目にすることがあるディリクレ分布 (Dirichlet distribution) カテゴリカル分布や多項分布のパラメータを表現する共役事前分布になる性質もあり、ベイズ推定の分野でも […]