RWKV — RNNとTransformerを融合した線形計算量の系列モデル
ChatGPTに100ページの論文を要約させたい。リアルタイムでストリーミング音...
交差エントロピー損失の数学的導出とNLPへの応用
交差エントロピー（Cross-Entropy）は、自然言語処理における最も基本的...
言語モデルとパープレキシティを理解する
言語モデル（Language Model）は、テキストの確率分布をモデル化する機...
GPTのアーキテクチャと自己回帰生成を解説
GPT（Generative Pre-trained Transformer）は...
スケーリング則の数学 — Kaplan則とChinchilla則を導出する
スケーリング則（Scaling Laws）は、言語モデルの性能がパラメータ数、デ...
因果言語モデル（CLM）の理論と実装 — GPTを支える自己回帰型の事前学習
「次に来る単語を予測し続けるだけで、言語を理解できるのか？」— この問いに対する...
BERTとGPTの違い — エンコーダ・デコーダアーキテクチャの比較
2018年から2019年にかけて、自然言語処理（NLP）は大きな転換期を迎えまし...