Transformerをゼロから実装する — PyTorchで全コンポーネントを構築
Transformerのコードを読んで「何となく分かった気になっている」状態にと...
条件付き異常検知の原型：環境属性と指標属性を分けて『文脈の下での異常』を測る（Song+ 2007）
体温を測って「37.2℃」という数値を見せられても、それだけでは平熱か発熱か判断...
Multi-Head Attentionの理論と実装を完全解説
私たちが文章を読むとき、無意識のうちに複数の視点から情報を処理しています。たとえ...
Seq2Seq（Encoder-Decoder）モデルの理論と実装を解説
自然言語処理における機械翻訳、テキスト要約、対話システムなど、多くのタスクでは「...
Transformer Decoderの構造とMasked Self-Attentionの仕組み
ChatGPTに文章を書かせるとき、モデルは「文章全体」をいきなり出力しているわ...
Transformer Encoderの構造と実装を完全理解する
「銀行に行く」と「銀行の土手に座る」——同じ「銀行」という単語でも、周りの単語に...
Superposition（重ね合わせ）と特徴の多義性 — ニューラルネットは次元より多くの特徴をどう詰め込むか
画像認識モデルの中間層を調べていて、「犬の耳」にだけ強く反応するニューロンを見つ...
Grokking（グロッキング）— 過学習のはるか先で突然訪れる汎化を実測する
機械学習を学ぶと、必ずこう教わります。「訓練精度が100%に達してテスト精度が上...
ソフトマックス関数の定義・性質・数値安定な実装
多クラス分類の出力層で「各クラスの確率」を出力したいとき、モデルの生の出力（ロジ...
【LaTeX】省略記号（点々）… ⋯ ⋮ ⋱ の書き方｜ldots・cdots・vdots・ddotsをコピペ実例で解説
数列 $a_1, a_2, \ldots, a_n$ を書こうとして「点々のコマ...