FlashAttentionの仕組み — IO-Aware Exact Attentionでメモリ帯域を克服する
Transformerの計算コストで最も問題になるのがSelf-Attentio...
self-attentionの計算量はなぜO(N²)なのか — Transformerがスケールする理由
「GPT に長い文章を入れると、急に重くなったり、入力できる長さに上限があったり...