SiLU（Swish）活性化関数とは？シグモイド重み付けの意味を理解する
LlamaやPaLM、Mistral、Gemmaといった近年の大規模言語モデルの...
活性化関数の全体像 — ReLU・GELU・Swishの特性比較
ニューラルネットワークの各層では、入力の重み付き和に「活性化関数」を適用します。...
ReLU・GELU・SiLUを数式から比較して理解する
GPT や BERT が「なぜ ReLU ではなく GELU を使うのか」、Ef...
tanhとは？双曲線正接関数の定義・微分公式・活性化関数としての性質を徹底解説
深層学習の勉強をしていると、RNNやLSTMの内部で tanh（双曲線正接関数、...
【深層学習】DeepLearningで登場する活性化関数を実装する
深層学習で登場する、活性化関数(activation function)の式と実...
シグモイド関数の微分(導関数)を導出してグラフ化する
深層学習で登場するシグモイド関数の数式とその導関数を、Pythonを用いてグラフ...
モダン活性化関数の完全ガイド — SiLU・GELU・Mishを数式から理解する
GPTやBERTのようなTransformerの中身を覗くと、ReLUではなくG...