Sliding Window Attention | 機械学習と情報技術

Sliding Window Attention（SWA）の理論と実装 — 固定窓による局所注意とMistralでの採用

2026年7月2日 Transformer

Transformerベースの大規模言語モデル（LLM）を使っていると、ある壁に...

GQA KVキャッシュ Longformer Mistral Sliding Window Attention 効率的Transformer 機械学習

Mistral/Mixtralのアーキテクチャ — Sliding Window AttentionとMoEの融合

2026年6月7日 Transformer

7Bのパラメータで13Bクラスのモデルを上回る性能を出せるとしたら、どうでしょう...

LLM Mistral Mixtral MoE NLP Sliding Window Attention Transformer

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}