複数の入力を持つ、複数の多変数関数の微分を考える際に、ヤコビ行列が登場します。 数理統計における、確率変数の変数変換やニューラルネットワークにおける誤差逆伝播の計算にも登場する、機械学習や深層学習の中では非常に重要な計算 […]
機械学習を勉強していると、行列とベクトルの2次形式について触れることは多々あると思います。 2次形式は、多変量ガウス分布の指数部分に登場するなど、機械学習の応用として非常に登場頻度が高いため、是非とも学ぶ必要性がある形式 […]
対称行列の定義や固有値、その行列式や逆行列が持っている性質などを一挙にまとめます。 特に本サイトでは統計学や機械学習について解説しているので、統計学や機械学習の文脈で利用することのある対称行列の性質について重点的に解説を […]
機械学習や統計学において、行列を操作するときに転置行列を扱う機会は非常に多いです。 転置行列は定義は比較的、イメージで理解できますが、転置行列が満たす性質は多数あります。 今回は、転置行列の定義についてまとめたのちに、機 […]
直行行列は$n$次正方行列 $A \in R^{D \times D}$において、$ A^T A = A A^T = E_D $ (ただし,$E$は、$E_{D} \in R^{D \times D}$を満たす単位行列) […]
機械学習や統計学、大学の教養課程などで線形代数を勉強していると、さまざまな用語が飛び交います。特に正方行列は行列の基本的な形の1つで、多くの性質を有しています。 今回は正方行列(square matrix)について、その […]
シューア補行列（Schur complement matrix）とは何ぞや、と思っていた私ですが、ガウス過程回帰(Gaussian Process)やカルマンフィルタの導出には、シューア補行列を理解する必要性があるため、 […]
行列の線形変換によって、どのようにベクトルが変化するでしょうか。 また、正方行列においては行列式というスカラーの値が定義できますが、これらは幾何学的にどのような意味を有しているのでしょうか。 今回はPythonで可視化し […]
逆行列は、線形代数の勉強をしていくと必ず登場する概念です。今回は、線形代数で登場する逆行列について簡単に解説し、その後Pythonで逆行列を導出する方法について解説します。 逆行列の定義をまずは示します。 逆行列の定義 […]
固有値、固有ベクトルの話というのは、世の中に死ぬほど記事出ていると思います。 この記事でもその焼き直しになると思いますが、より高度な概念につなげていくためにはこれらの理解は必須のため、固有値と固有ベクトルについてまとめて […]