GPTのアーキテクチャと自己回帰生成を解説
GPT（Generative Pre-trained Transformer）は...
言語モデルとパープレキシティを理解する
言語モデル（Language Model）は、テキストの確率分布をモデル化する機...
交差エントロピー損失の数学的導出とNLPへの応用
交差エントロピー（Cross-Entropy）は、自然言語処理における最も基本的...
スケーリング則の数学 — Kaplan則とChinchilla則を導出する
スケーリング則（Scaling Laws）は、言語モデルの性能がパラメータ数、デ...