Transformer

TRACE — 時系列データのマルチモーダル埋め込みと検索をわかりやすく解説【NeurIPS 2025】

2026年6月7日 Transformer

気温、湿度、気圧、風速 — 気象観測ステーションは毎秒このような多変量時系列デー...

InfoNCE Masked Autoencoder NeurIPS TRACE マルチモーダル対照学習時系列

Cross-Attention（クロスアテンション）の理論と実装を完全解説

2026年6月7日 Transformer

機械翻訳モデルに「I love cats」を入力したとき、デコーダが「猫」という...

Cross-Attention Encoder-Decoder Self-Attention Transformer 機械学習自然言語処理

State Space Models（SSM）とMamba — 線形計算量でTransformerに挑む

2026年4月28日 Transformer

Transformerは自然言語処理の覇者ですが、致命的な弱点があります。Sel...

Mamba S4 SSM State Space Model Transformer 深層学習選択的SSM

PagedAttention — vLLMの仮想メモリ着想によるKVキャッシュ管理

2026年4月28日 Transformer

LLMの推論サーバーを運用する際、GPUメモリの使い方が性能を大きく左右します。...

KVキャッシュ LLM PagedAttention vLLM メモリ管理推論最適化

LLMの量子化を完全解説 — GPTQ・AWQ・GGUFの理論と実践

2026年4月28日 Transformer

LLaMA-70Bのモデルパラメータは、FP16（16ビット浮動小数点）で保存す...

AWQ GGUF GPTQ LLM 推論最適化深層学習量子化

Mixture of Experts (MoE) の仕組みとゲーティング機構

2026年4月28日 Transformer

Mixture of Experts（MoE）は、ニューラルネットワークの効率を...

LLM Mixture of Experts MoE Sparse Model 深層学習

投機的デコーディングの数理と実装

2026年4月28日 Transformer

投機的デコーディング（Speculative Decoding）は、小さなドラフ...

LLM Speculative Decoding 投機的デコーディング推論高速化深層学習

Flash Attentionの仕組み — IO-Aware なアテンション高速化

2026年4月28日 Transformer

Flash Attention は、Transformer のアテンション計算を...

Flash Attention GPU最適化 LLM Transformer メモリ効率

Mixture of Experts（MoE）の理論と実装 — 条件付き計算でLLMを効率化する

2026年4月27日 Transformer

GPT-4やGeminiのような最高性能のLLMは、数千億〜数兆のパラメータを持...

LLM Mixture of Experts MoE Transformer スパースモデルルーティング

DPO（Direct Preference Optimization）— 報酬モデルなしでLLMをアライメントする

2026年4月27日 Transformer

ChatGPTが「有害な回答を避ける」「ユーザーの意図に沿った回答を生成する」こ...

DPO LLM RLHF アライメント強化学習損失関数

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}