Grokking（グロッキング）— 過学習のはるか先で突然訪れる汎化を実測する
機械学習を学ぶと、必ずこう教わります。「訓練精度が100%に達してテスト精度が上...
学習率ウォームアップとNoamスケジュール — なぜTransformerは「最初ゆっくり」学ぶ必要があるのか
学習を始めたばかりのモデルこそ、一番たくさん学べるはずです。だったら学習率は最初...
ラグランジュの未定乗数法を完全理解する
予算100万円でパソコンと周辺機器を買うとき、最も満足度を高くするにはどう配分す...
凸双対とFenchel共役をわかりやすく：f-GAN・最適輸送・変分表現の母体
GAN の論文を読んでいると、突然 $\sup_T \mathbb{E}_P[T...
最適輸送とWasserstein距離をわかりやすく：Kantorovich双対とSinkhornまで
2つの分布が「どれくらい違うか」を測りたい場面は山ほどあります。たとえば、生成モ...
確率的勾配降下法(SGD)の収束解析：理論論文の仮定と収束レートの読み方
機械学習の最適化の論文を開くと、必ずと言っていいほど次のような一節に出くわします...
Lipschitz連続性とスペクトルノルム：ヤコビアンが決めるニューラルネットの安定性
ニューラルネットに、ほんのわずかなノイズを混ぜた画像を入れると、人間の目には同じ...
ベイズ最適化の理論と実装 — ガウス過程で効率的に最適解を探索する
機械学習モデルの学習率や正則化パラメータを調整するとき、各パラメータ設定でモデル...
勾配クリッピングの理論と実装
勾配クリッピング（Gradient Clipping）は、勾配爆発を防ぐための手...
Mixed Precision Trainingで学習を高速化する方法
混合精度学習（Mixed Precision Training）は、FP32とF...