SiLU（Swish）活性化関数とは？シグモイド重み付けの意味を理解する
LlamaやPaLM、Mistral、Gemmaといった近年の大規模言語モデルの...
ReLU・GELU・SiLUを数式から比較して理解する
GPT や BERT が「なぜ ReLU ではなく GELU を使うのか」、Ef...
モダン活性化関数の完全ガイド — SiLU・GELU・Mishを数式から理解する
GPTやBERTのようなTransformerの中身を覗くと、ReLUではなくG...