高校の数学で登場する微積分ですが、機械学習の勉強をしてから再度勉強する必要性が出てきて、頭を抱えている人は多いかと思います。
部分積分の公式
部分積分の公式定義
\begin{equation}
\int f(x)g^{\prime}(x) = f(x) g(x) - \int f^{\prime}(x)g(x)
\end{equation}高校数学でよく登場する公式ですが、思い出した人も多いかと思います。
部分積分の公式の証明
部分積分の公式の証明をしてみましょう。なにやら難しそうな部分積分の公式ですが、実際には積の微分の公式を使うだけです。$x$からなる関数$f(x)$と$g(x)$の積からなる関数$f(x)g(x)$の微分を考えましょう。
\begin{equation}
\{ f(x)g(x) \}^{\prime} = f^{\prime}(x)g(x) + f(x)g^{\prime}(x)
\end{equation}これは、積の微分の公式そのものです。
ここで、(1)式の両辺を積分してみましょう。
f(x)g(x) = \int f^{\prime}(x)g(x) dx + \int f(x)g^{\prime}(x) dx
ここで、右辺の第二項を左辺に移動して整理すると、
\begin{equation}
\int f(x) g^{\prime}(x)dx = f(x)g(x) - \int f^{\prime}(x)g(x) dx
\end{equation}よって、部分公式の(2)式を導くことができました。
部分積分の公式が機械学習や統計で使われる具体例
例えば、指数分布の期待値や分散を導出する際に使われることになります。
\begin{equation}
f(x | \lambda) = \lambda e^{- \lambda x}
\end{equation}指数分布の確率密度関数は、(3)式のようになっています。$\lambda$は、指数分布のパラメータです。この指数分布の期待値と分散を導出の際に、部分積分が利用されることになります。ここでは、指数分布の期待値の計算例を紹介します。
指数分布の期待値の導出における部分積分の利用
\begin{equation}
\begin{split}
E[f(x | \lambda)] &= \int_{0}^{\infin} x \lambda e^{- \lambda x} dx \\
&=
\lambda \left(
\left[ x ( - \frac{1}{\lambda} e^{- \lambda x}) \right]^{\infin}_0
- \int_0^{\infin} - \frac{1}{\lambda} e^{- \lambda x} dx
\right)\\
&= \lambda
\left(
0 - \frac{1}{ \lambda^2}
\left[
e^{- \lambda x}
\right]_0^{\infin}
\right)\\
& = - \frac{1}{ \lambda}(0 - 1) = \frac{1}{ \lambda}
\end{split}
\end{equation}ここで、途中式にはロピタルの定理を使っています。
\lim_{x \to \infty} \frac{x}{e^x} = \lim_{x \to \infty} \frac{1}{e^x} = 0