活性化関数 の記事一覧

シグモイド関数の微分(導関数)を導出してグラフ化する

深層学習で登場するシグモイド関数の数式とその導関数を、Pythonを用いてグラフ化・可視化していきます。 シグモイド関数自体は、深層学習では活性化関数として広く利用されており、誤差逆伝搬においては、その導関数の性質から、 […]

【深層学習】tanh (双曲線正接関数)の定義や微分を解説

深層学習の勉強をしていると、LSTMやRNNなどの活性化関数として、tanh(双曲線正接関数、ハイパボリックタンジェント関数)が頻出します。 tanhという略語に初めて出会った人は、少し面食らってしまう人もいるのではない […]

【深層学習】DeepLearningで登場する活性化関数を実装する

深層学習で登場する、活性化関数(activation function)の式と実装、グラフを同時に掲載していきます。 辞書的な役割での用途を想定しています。 シグモイド関数 シグモイド関数の導関数 シグモイド関数の導関数 […]