イェンゼンの不等式について学んでいきます。イェンゼンの不等式は、凸関数において成り立つ不等式です。
なかなか抽象的な面もありますが、一般系な凸関数において成り立つので、汎用性が高く、機械学習や統計学の勉強をすると度々登場することになります。
大学の教養課程で、解析学の講義などで登場するイェンゼンの不等式をおさらいしていきましょう。
イェンゼンの不等式の定義
$f(x)$は、実数値を取る凸関数とする。
このとき、$sum_{i=1}^{\infin} p_i = 1$を満たす、正の実数列、$p_1, p_2, \dots$と、実数列$x_1, x_2, \dots$があるとき、次の不等式が成り立つ。
\begin{equation} \sum_{i=1}^{\infin} p_if(x_i) \geq f \biggr ( \sum_{i=1} p_i x_i \biggr ) \end{equation}
イェンゼンの不等式は、式の下限値を評価する際にしばしば使われることになります。
機械学習の有名な参考書であるPRMLでも最初の章で導入されているので、覚えておくと良いと思います。