LLaVAアーキテクチャの理論と実装
LLaVA（Large Language and Vision Assistan...
対照学習（Contrastive Learning）の理論と損失関数の導出
対照学習（Contrastive Learning）は、ラベルなしデータから有用...
SimCLRの仕組みとNT-Xent損失をPythonで実装する
SimCLR（Simple Framework for Contrastive ...
知識蒸留の理論 — 温度パラメータの数学的導出と実装
知識蒸留（Knowledge Distillation）は、大規模な教師モデルの...
【モデル圧縮】Pruning（枝刈り）の理論と実装
モデル枝刈り（Pruning）は、ニューラルネットワークの不要なパラメータを削除...
ニューラルアーキテクチャ探索（NAS）の手法を比較する
ニューラルアーキテクチャ探索（Neural Architecture Searc...
ReLU・GELU・SiLUを数式から比較して理解する
活性化関数はニューラルネットワークに非線形性を導入する重要な要素です。ReLUが...
SGD・Adam・AdamW・Lionの理論とPython実装
オプティマイザは深層学習モデルの学習効率と最終性能を大きく左右します。SGDから...
学習率スケジュールの種類と選び方
学習率（Learning Rate）はニューラルネットワークの学習において最も重...
Dropoutの理論とMC Dropoutによる不確実性推定
Dropout は、ニューラルネットワークの過学習を防ぐ正則化手法として広く使わ...