Time-MoE — 24億パラメータのMoE時系列基盤モデル【ICLR 2025】
大規模言語モデル（LLM）の世界では「モデルを大きくすれば性能が上がる」というス...
Chinchilla最適スケーリング — 計算予算に対するモデルサイズとデータ量の最適配分
あなたが100億円の計算予算を持っているとしましょう。GPUを買い、データセンタ...
スケーリング則の数学 — Kaplan則とChinchilla則を導出する
スケーリング則（Scaling Laws）は、言語モデルの性能がパラメータ数、デ...