活性化関数の全体像 — ReLU・GELU・Swishの特性比較
ニューラルネットワークの各層では、入力の重み付き和に「活性化関数」を適用します。...
ResNetとスキップ接続 — なぜ深いネットワークが学習できるのか
深層学習では「層を深くすれば表現力が上がる」と期待されますが、2015年以前、実...
なぜAttentionはスケールドドット積なのか — √d_kで割る理由を徹底解説
Transformerのアテンションの式を初めて見たとき、多くの人が「なぜ内積を...
残差接続（スキップ接続）はなぜ効くのか — 図で直感的に理解する4つの視点
深層学習のアーキテクチャ図を見ると、ブロックをぐるっと飛び越えて先の地点に合流す...
なぜLSTMは長期記憶を保てるのか — セル状態の計算を1ステップずつ電卓で追って腑に落とす
LSTMの構造図はネットのどこにでもあります。「セル状態というベルトコンベアがあ...
残差接続とTransformerの学習安定性 — スキップ接続が深層モデルを支える仕組み
なぜ100層のTransformerは学習できるのでしょうか？ ニューラルネット...
LSTMの理論と仕組みを徹底解説 — ゲート機構から勾配の流れまで
天気予報モデルが明日の気温を予測するとき、昨日の気温だけでなく、1週間前の寒波や...
LSTM（Long Short-Term Memory）の構造と導出を解説
RNN（再帰型ニューラルネットワーク）は系列データを扱う強力なアーキテクチャです...
RNN（再帰型ニューラルネットワーク）の基礎を解説
ニューラルネットワークの中で、時系列データ や 自然言語 のような系列的なデータ...