ReLU・GELU・SiLUを数式から比較して理解する 2025年12月11日 Transformer 活性化関数はニューラルネットワークに非線形性を導入する重要な要素です。ReLUが... GELUReLUSiLU機械学習活性化関数深層学習