ReLU・GELU・SiLUを数式から比較して理解する 2025年12月11日 Transformer 活性化関数はニューラルネットワークに非線形性を導入する重要な要素です。ReLUが... GELUReLUSiLU機械学習活性化関数深層学習
【深層学習】DeepLearningで登場する活性化関数を実装する 2022年11月16日 深層学習 深層学習で登場する、活性化関数(activation function)の式と実... ReLUディープラーニング活性化関数深層学習