確率変数$X$を線形変換するとは次のような操作を指します。 例えば、恣意的な設定ですが、くじ引きを引いた時、出た目の数$x$に対して賞金が$y = 100 x + 2000$円もらえるようなくじがあるとします。この時、出 […]
複数の入力を持つ、複数の多変数関数の微分を考える際に、ヤコビ行列が登場します。 数理統計における、確率変数の変数変換やニューラルネットワークにおける誤差逆伝播の計算にも登場する、機械学習や深層学習の中では非常に重要な計算 […]
ベクトルの内積の定義について解説します。 ベクトルの内積の成分表示 ここでベクトルの成分表示における内積の式を提示します。 ベクトル$\bm{a}, \bm{b}$の成分がそれぞれ、$\bm{a} = (a_1, a_2 […]
一般的に、任意のガウス分布に従う確率変数 $X$において、線形変換$\bm{A}X + \bm{b}$を行っても、変換後の分布もガウス分布になることが知られています。 この事実は、ガウス過程回帰や線形動的モデル、カルマン […]
機械学習を勉強していると、行列とベクトルの2次形式について触れることは多々あると思います。 2次形式は、多変量ガウス分布の指数部分に登場するなど、機械学習の応用として非常に登場頻度が高いため、是非とも学ぶ必要性がある形式 […]
対称行列の定義や固有値、その行列式や逆行列が持っている性質などを一挙にまとめます。 特に本サイトでは統計学や機械学習について解説しているので、統計学や機械学習の文脈で利用することのある対称行列の性質について重点的に解説を […]
機械学習や統計学において、行列を操作するときに転置行列を扱う機会は非常に多いです。 転置行列は定義は比較的、イメージで理解できますが、転置行列が満たす性質は多数あります。 今回は、転置行列の定義についてまとめたのちに、機 […]
直行行列は$n$次正方行列 $A \in R^{D \times D}$において、$ A^T A = A A^T = E_D $ (ただし,$E$は、$E_{D} \in R^{D \times D}$を満たす単位行列) […]
機械学習や統計学、大学の教養課程などで線形代数を勉強していると、さまざまな用語が飛び交います。特に正方行列は行列の基本的な形の1つで、多くの性質を有しています。 今回は正方行列(square matrix)について、その […]
シューア補行列（Schur complement matrix）とは何ぞや、と思っていた私ですが、ガウス過程回帰(Gaussian Process)やカルマンフィルタの導出には、シューア補行列を理解する必要性があるため、 […]