機械学習でガウス過程回帰やカルマンフィルタの導出をまともに理解しようとすると、多変量ガウス分布の条件付き分布にぶち当たることになります。
この導出自体は非常に多くの式変形を必要とし、理解するのがなかなかカオスです。一方で、一度式変形まで理解して、得られた結論を使えるようになると、ぐっと機械学習の数学に対して理解が深まるのも事実です。
今回は、多変量ガウス分布の条件付き分布を1から解説します。
本記事の内容
- 多変量ガウス分布の条件付き分布について理解する
- 条件付き多変量ガウス分布を可視化する
多変量ガウス分布の条件付き分布
まず、多変量ガウス分布の条件付き分布について、得られている公式(結論)を提示します。
多変量ガウス分布の条件付き分布の公式
下記の確率密度関数で定義される、$D$次元の多変量ガウス分布において、
\begin{equation}
\mathcal{N}(\bm{x}|\bm{μ}, \bm{\Sigma}) =
\frac{1}{\sqrt{(2\pi)^{D} |\Sigma|}}
exp
\biggl\{
-\frac{1}{2}(\bm{x}-\bm{μ})^T\Sigma^{-1}(\bm{x}-\bm{μ})
\biggr\}
\end{equation}以下のように表現するとき、
\begin{equation}
\begin{split}
p(\bm{x_1}, \bm{x_2}) = \mathcal{N}
\biggr (
\begin{pmatrix}
\bm{x_1} \\ \bm{x_2} \\
\end{pmatrix}
\biggr |
\begin{pmatrix}
\bm{\mu_1} \\ \bm{\mu_2} \\
\end{pmatrix},
\begin{pmatrix}
\Sigma_{11} & \Sigma_{12} \\
\Sigma_{21} & \Sigma_{22} \\
\end{pmatrix}
\biggr )
\end{split}
\end{equation}条件付き確率$p(\bm{x_2} | \bm{x_1})$は次にように表される。
\begin{equation}
\begin{split}
p(\bm{x_2} | \bm{x_1}) = \mathcal{N}
(\bm{\mu_2} + \Sigma_{21}\Sigma^{-1}_{11}(
\bm{x_1} - \bm{\mu_1}),
\Sigma_{22}- \Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} )
\end{split}
\end{equation}結論として以上になります。
カルマンフィルタの導出や、ガウス過程の導出にはこれらの式が利用されるので結論だけは覚えておいたほうが良いでしょう。