混合ポアソン分布は混合分布の1例で、離散値をとり多峰性を持つような分布を表現する際に、よく用いられます。 混合ポアソン分布のパラメータを推定する場合、EMアルゴリズムや変分推論などの手法に加えて、MCMCの1つである、ギ […]
ベイズモデルにおいては、あるモデルを考えるときに、生成モデル(generative model)を考えます。生成モデルとは、データが生成する過程をモデル化することで、データの分布を表現する手法です。 生成モデルによる定式 […]
変分推論(variational inference)は、ベイズ手法で解析的に事後分布を求めることができない場合に、非常によく利用される近似アルゴリズムです。変分推論は文脈によっては、変分ベイズと呼ばれたりしています。 […]
pymcはベイジアンモデリングをPythonで行うためのPPL(確率的プログラミング言語)のフレームワークです。 ベイジアンモデリングは近年機械学習の有力な手法として利用されていますが、解析的に解けるわずかな例を除いて解 […]
ガウス過程回帰について、本記事ではわかりやすく解説します。ガウス過程回帰はよく、「線形回帰モデル(線形基底関数モデル）の重み$\bm{w}$を積分消去し、ガウス分布を無限次元に拡張したもの」と表現されることがあります。し […]
カーネル法について学習すると必ず登場するグラム行列(Gram Matrix)について、今回は解説していきます。 グラム行列は、線形回帰モデルで登場するような、デザイン行列の特殊なパターンと言えます。デザイン行列については […]
カーネル法(kernel method)を利用することで、非線形な構造をうまく機械学習や統計モデルに取り入れることができることから、今現在非常によく利用されている手法です。 ガウス過程回帰やSVM(support vec […]
一般的に、任意のガウス分布に従う確率変数 $X$において、線形変換$\bm{A}X + \bm{b}$を行っても、変換後の分布もガウス分布になることが知られています。 この事実は、ガウス過程回帰や線形動的モデル、カルマン […]
確率分布の中で、最も基本的な確率分布が一様分布です。よくベイズ統計学において、事前に何も情報がないような場合の無情報事前分布としても利用されることのある、この一様分布ですが、今回は、一様分布の定義や期待値・分散等の基本的 […]
線形基底関数モデルについて理解しているでしょうか？ このモデルは線形回帰モデルとも呼ばれており、かの有名なPRMLでも序盤に登場するほど良く知られており、その考え方はガウス過程回帰など、多くの回帰のアルゴリズムの基礎とな […]