Sliding Window Attention（SWA）の理論と実装 — 固定窓による局所注意とMistralでの採用
Transformerベースの大規模言語モデル（LLM）を使っていると、ある壁に...
Sparse Attention（Longformer・BigBird）の理論と実装 — 長系列を効率的に処理する
論文1本（数万トークン）を丸ごとTransformerに入力して要約したい。数十...
Linear Attention / Performerの理論と実装 — カーネル近似で計算量をO(n)にする
Transformerは自然言語処理や画像認識で驚異的な性能を発揮していますが、...