TransformerのFeed-Forward Network（FFN）の役割と実装
TransformerアーキテクチャにおいてSelf-Attentionと並んで...
ReLU・GELU・SiLUを数式から比較して理解する
活性化関数はニューラルネットワークに非線形性を導入する重要な要素です。ReLUが...