最適化アルゴリズム比較 — SGD・Momentum・Adam・AdamW
勾配降下法を使ってモデルを訓練するとき、「どの最適化アルゴリズムを使えばよいか」...
学習率ウォームアップとNoamスケジュール — なぜTransformerは「最初ゆっくり」学ぶ必要があるのか
学習を始めたばかりのモデルこそ、一番たくさん学べるはずです。だったら学習率は最初...
SGD・Adam・AdamW・Lionの理論とPython実装
オプティマイザは深層学習モデルの学習効率と最終性能を大きく左右します。SGDから...