学習率ウォームアップとNoamスケジュール — なぜTransformerは「最初ゆっくり」学ぶ必要があるのか
学習を始めたばかりのモデルこそ、一番たくさん学べるはずです。だったら学習率は最初...
Layer Normalizationの仕組みとBatch Normalizationとの違い
深層学習において、正規化（Normalization）は学習の安定化と高速化に欠...
残差接続とTransformerの学習安定性 — スキップ接続が深層モデルを支える仕組み
なぜ100層のTransformerは学習できるのでしょうか？ ニューラルネット...