ControlNetの仕組み — Zero Convolutionと条件付き画像生成
ControlNetは、2023年にZhangらが発表した、拡散モデルに空間的な...
Imagen・DALL-Eの比較 — テキスト→画像生成モデルの進化
Imagen（Google）とDALL-E（OpenAI）は、テキストから画像を...
CLIPの対照学習を数式から理解してPythonで実装する
CLIP（Contrastive Language-Image Pre-trai...
Stable Diffusionの仕組み — 拡散モデルの理論と全体像
Stable Diffusionは、2022年にStability AI、Com...
投機的デコーディングの数理と実装
投機的デコーディング（Speculative Decoding）は、小さなドラフ...
Mixture of Experts (MoE) の仕組みとゲーティング機構
Mixture of Experts（MoE）は、ニューラルネットワークの効率を...
LLMの量子化（INT8/INT4）を理論から実装まで解説
量子化（Quantization）は、ニューラルネットワークの重みや活性化を低精...
アテンションマスクの種類と実装を完全理解する
アテンションマスク（Attention Mask）は、Transformerにお...
【大規模モデル】Tensor/Pipeline並列化の理論と実装
大規模言語モデル（LLM）は数十億から数千億のパラメータを持ち、単一のGPUメモ...
Flash Attentionの仕組み — IO-Aware なアテンション高速化
Flash Attention は、Transformer のアテンション計算を...