なぜAttentionはスケールドドット積なのか — √d_kで割る理由を徹底解説
Transformerのアテンションの式を初めて見たとき、多くの人が「なぜ内積を...
softmaxの温度とattentionエントロピー — 注意の「集中・分散」を定量化する
同じアテンションスコアを見ても、あるヘッドは1つのトークンだけをじっと見つめ、別...