Sliding Window Attention（SWA）の理論と実装 — 固定窓による局所注意とMistralでの採用
Transformerベースの大規模言語モデル（LLM）を使っていると、ある壁に...
Sparse Attention（Longformer・BigBird）の理論と実装 — 長系列を効率的に処理する
論文1本（数万トークン）を丸ごとTransformerに入力して要約したい。数十...