ソフトマックス関数の定義・性質・数値安定な実装
多クラス分類の出力層で「各クラスの確率」を出力したいとき、モデルの生の出力（ロジ...
なぜAttentionはスケールドドット積なのか — √d_kで割る理由を徹底解説
Transformerのアテンションの式を初めて見たとき、多くの人が「なぜ内積を...
softmaxの温度とattentionエントロピー — 注意の「集中・分散」を定量化する
同じアテンションスコアを見ても、あるヘッドは1つのトークンだけをじっと見つめ、別...
交差エントロピー誤差（クロスエントロピー）— 定義・情報理論・勾配・実装を完全解説
ニューラルネットワークで「この画像は猫か犬か鳥か」を分類するとき、モデルの良し悪...