SiLU（Swish）活性化関数とは？シグモイド重み付けの意味を理解する
LlamaやPaLM、Mistral、Gemmaといった近年の大規模言語モデルの...
活性化関数の全体像 — ReLU・GELU・Swishの特性比較
ニューラルネットワークの各層では、入力の重み付き和に「活性化関数」を適用します。...
ReLU・GELU・SiLUを数式から比較して理解する
GPT や BERT が「なぜ ReLU ではなく GELU を使うのか」、Ef...
Transformer FFN(Feed-Forward Network)完全ガイド — 2層MLPがなぜ機能するか
GPT、Llama、Geminiといった現代の大規模言語モデルの「重み」をパラメ...
モダン活性化関数の完全ガイド — SiLU・GELU・Mishを数式から理解する
GPTやBERTのようなTransformerの中身を覗くと、ReLUではなくG...