【機械学習】グラム行列(Gram Matrix)の定義や性質まとめ

カーネル法について学習すると必ず登場するグラム行列(Gram Matrix)について、今回は解説していきます。

グラム行列は、線形回帰モデルで登場するような、デザイン行列の特殊なパターンと言えます。デザイン行列についてはこちらをご覧ください。

【機械学習】グラム行列(Gram Matrix)の定義や性質まとめ

カーネル法について学習すると必ず登場するグラム行列(Gram Matrix)について、今回は解説していきます。 グラム行列は、線形回帰モデルで登場するような、デザイン行列の特殊なパターンと言えます。デザイン行列については […]

グラム行列の定義

グラム行列とは、N個のデータ$\bm{X} = \{\bm{x_1}, \bm{x_2}, \bm{x_3}, \cdots \bm{x_{N-1}} ,\bm{x_N} \}$と、それに対応するカーネル関数$k = (\cdot, \cdot)$に対して定義される、次の$N \times N$行列です。

\begin{equation}
\begin{split}
\bm{K} = 
\begin{pmatrix}
k(\bm{x_1}, \bm{x_1})  &  \cdots k(\bm{x_1}, \bm{x_N}) \\
\vdots  & \vdots \\
k(\bm{x_N}, \bm{x_1})  &  \cdots k(\bm{x_N}, \bm{x_N}) \\

\end{pmatrix}
\end{split}
\end{equation}

グラム行列の性質

(1)で定義されるグラム行列の性質を次にまとめます。