深層学習 | 機械学習と情報技術

FlashAttentionの仕組み — IO-Aware Exact Attentionでメモリ帯域を克服する

2026年7月2日 Transformer

Transformerの計算コストで最も問題になるのがSelf-Attentio...

Attention FlashAttention GPU Transformer 推論最適化深層学習

Attention Is All You Need（Transformer原論文）を徹底解読

2026年7月2日 Transformer

2017年に Vaswani et al. が発表した論文「Attention ...

Encoder-Decoder Self-Attention Transformer マルチヘッド位置エンコーディング深層学習

Self-Attentionは語順を知らない — 置換同変性と位置エンコーディングの必然性

2026年7月2日 Transformer

「私は犬を見た」と「犬は私を見た」。使われている単語は同じでも、語順が変われば意...

Transformer 位置エンコーディング深層学習置換同変性集合関数

Multi-Query / Grouped-Query Attention（MQA/GQA）— KVキャッシュを削ってLLM推論を軽くする

2026年7月2日 Transformer

長い文章をLLMに書かせていると、最初の応答が出るまでは待たされるのに、そこから...

GQA KVキャッシュ LLM MQA Transformer 推論高速化深層学習

Self-Attentionの理論と実装 — Query・Key・Valueの計算

2026年7月2日 Transformer

前回の記事では、エンコーダとデコーダの間でAttentionを計算する仕組みを学...

Multi-Head Attention Query Key Value Self-Attention Transformer 機械学習深層学習

Attention機構の基礎 — なぜAttentionが必要なのか

2026年7月2日 Transformer

機械翻訳の初期のニューラルモデル（Seq2Seq）では、入力文全体を1つの固定長...

Attention Seq2Seq エンコーダ・デコーダ機械学習機械翻訳深層学習

学習率ウォームアップとNoamスケジュール — なぜTransformerは「最初ゆっくり」学ぶ必要があるのか

2026年7月2日深層学習

学習を始めたばかりのモデルこそ、一番たくさん学べるはずです。だったら学習率は最初...

Adam Layer Normalization Transformer 学習率最適化深層学習

Modern Hopfield NetworksとAttentionの等価性 — 連想記憶の更新則がTransformerと一致する

2026年7月2日 Transformer

ぼやけた写真の一部を見ただけで、誰の顔かを思い出す。歌詞の冒頭を聞いただけで、続...

Attention Hopfieldネットワーク Transformer エネルギー関数深層学習連想記憶

純粋Attention層のrank collapse — attentionだけを重ねると表現が二重指数で壊れる

2026年7月2日 Transformer

伝言ゲームを想像してください。ただし普通の伝言ゲームと違い、各人は「全員の意見の...

Attention rank collapse Transformer 残差接続深層学習線形代数

誘導ヘッド（Induction Heads）とin-context learning — LLMが文脈から学ぶ仕組みに迫る機構的解釈入門

2026年7月2日 Transformer

大規模言語モデルの不思議な能力のひとつに in-context learning...

Attention LLM Transformer 機構的解釈深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}