Attentionは『ソフトな辞書引き』— カーネル回帰(Nadaraya-Watson推定)との等価性で本質を理解する
「その動物は疲れていたので、道を渡れなかった」——この文の「その動物」が何を指す...
Attentionの数式を行列の形で完全に理解する — QK^T・softmax・重み付き和を図で追う
Transformer を学ぼうとして、この式の前で固まった経験はありませんか。...
context vector（文脈ベクトル）とは何か — attentionが作る『動的なまとめ』を幾何で理解する
attention を勉強すると、Query・Key・Value という3人組と...
アテンションを直感で理解する ― 数式の前に『注目』のイメージをつかむ
「アテンション（Attention）が大事なのはわかるけど、Query・Key・...
iTransformerと変量方向の注意 ― 時系列Transformerを『反転』して変量間の関係を学ぶ
多変量時系列をTransformerで扱うとき、ふつうは「各時刻のスナップショッ...