高校の数学で登場する微積分ですが、機械学習の勉強をしてから再度勉強する必要性が出てきて、頭を抱えている人は多いかと思います。
部分積分の公式
部分積分の公式定義
\begin{equation} \int f(x)g^{\prime}(x) = f(x) g(x) - \int f^{\prime}(x)g(x) \end{equation}
高校数学でよく登場する公式ですが、思い出した人も多いかと思います。
部分積分の公式の証明
部分積分の公式の証明をしてみましょう。なにやら難しそうな部分積分の公式ですが、実際には積の微分の公式を使うだけです。$x$からなる関数$f(x)$と$g(x)$の積からなる関数$f(x)g(x)$の微分を考えましょう。
\begin{equation} \{ f(x)g(x) \}^{\prime} = f^{\prime}(x)g(x) + f(x)g^{\prime}(x) \end{equation}
これは、積の微分の公式そのものです。
ここで、(1)式の両辺を積分してみましょう。
f(x)g(x) = \int f^{\prime}(x)g(x) dx + \int f(x)g^{\prime}(x) dx
ここで、右辺の第二項を左辺に移動して整理すると、
\begin{equation} \int f(x) g^{\prime}(x)dx = f(x)g(x) - \int f^{\prime}(x)g(x) dx \end{equation}
よって、部分公式の(2)式を導くことができました。
部分積分の公式が機械学習や統計で使われる具体例
例えば、指数分布の期待値や分散を導出する際に使われることになります。
\begin{equation} f(x | \lambda) = \lambda e^{- \lambda x} \end{equation}
指数分布の確率密度関数は、(3)式のようになっています。$\lambda$は、指数分布のパラメータです。この指数分布の期待値と分散を導出の際に、部分積分が利用されることになります。ここでは、指数分布の期待値の計算例を紹介します。
指数分布の期待値の導出における部分積分の利用
\begin{equation} \begin{split} E[f(x | \lambda)] &= \int_{0}^{\infin} x \lambda e^{- \lambda x} dx \\ &= \lambda \left( \left[ x ( - \frac{1}{\lambda} e^{- \lambda x}) \right]^{\infin}_0 - \int_0^{\infin} - \frac{1}{\lambda} e^{- \lambda x} dx \right)\\ &= \lambda \left( 0 - \frac{1}{ \lambda^2} \left[ e^{- \lambda x} \right]_0^{\infin} \right)\\ & = - \frac{1}{ \lambda}(0 - 1) = \frac{1}{ \lambda} \end{split} \end{equation}
ここで、途中式にはロピタルの定理を使っています。
\lim_{x \to \infty} \frac{x}{e^x} = \lim_{x \to \infty} \frac{1}{e^x} = 0