微分の線型性の性質を利用した数値計算は、$\sum$の形をした関数が多く登場する確率や機械学習の計算で頻出です。

例えば、単回帰分析や重回帰分析において、最小二乗法を用いて目的関数を最小化するような計算の際にも、微分の線形性の性質を利用します。

今回は、統計や機械学習分野で頻出の、微分の線型性についてまとめていきたいと思います。

微分の線形性の公式

微分の線形性においては、次の性質のことをいいます。

\begin{equation}
\{f(x) + g(x) \}' = f'(x) + g'(x)
\end{equation}

\begin{equation}
\{af(x)\}' = af'(x)
\end{equation}

(1)は、和の微分は微分の和とも言われています。(2)は、関数$f(x)$をa倍した関数の微分は、導関数$f'(x)$をa倍したものになるということです。

まさに、線形性の定義そのものです。線形性の定義について、詳しく知りたい方はこちらの記事を参照してください。

大学数学で登場する線形性について解説。微分・積分・期待値など

大学数学ではよく「線形性」という言葉が登場します。 あまりに頻繁に登場するのです...

機械学習分野で頻出する微分の線形性の性質

微分の線形性の性質は、よくシグマ（$\sum$）の形をともなって登場します。

例えば、$w$をパラメータとしたとき、微分の線形性の性質を用いて次のような式変形をすることがあります。

\begin{equation}
\frac{\partial}{\partial w}\sum_{n=1}^N f_n(w) = \sum_{n=1}^N \frac{\partial}{\partial w}  f_n(w)
\end{equation}

このとき、あれ？$\sum$ってこの場合、外に出せるんだっけ？と思う人も多いと思いますが、実際にこれは微分の線形性について理解していれば、このような変形が成り立つことがわかります。