DPO（Direct Preference Optimization）の数学的導出と実装
LLMを人間の好みに沿うように調整する手法として、DPO（Direct Pref...
Constitutional AIとは？原則に基づくアライメント手法を解説
AIシステムを有害な出力から守りつつ、有用性を維持する方法として、Constit...
Chain-of-Thought推論を理解してLLMの性能を引き出す
大規模言語モデル（LLM）は複雑な推論タスクが苦手とされてきましたが、Chain...
【LLM】Tool Use / Function Callingの仕組みと実装
LLMは膨大な知識を持っていますが、リアルタイム情報の取得や計算、外部システムと...
AIエージェントの設計パターン — ReAct・Plan-and-Execute
LLMの能力を最大限に活用するために、AIエージェントという概念が注目されていま...
対照学習（Contrastive Learning）の理論と損失関数の導出
対照学習（Contrastive Learning）は、ラベルなしデータから有用...
SimCLRの仕組みとNT-Xent損失をPythonで実装する
SimCLR（Simple Framework for Contrastive ...
知識蒸留の理論 — 温度パラメータの数学的導出と実装
知識蒸留（Knowledge Distillation）は、大規模な教師モデルの...
【モデル圧縮】Pruning（枝刈り）の理論と実装
モデル枝刈り（Pruning）は、ニューラルネットワークの不要なパラメータを削除...
ニューラルアーキテクチャ探索（NAS）の手法を比較する
ニューラルアーキテクチャ探索（Neural Architecture Searc...