LLM | 機械学習と情報技術

Mixture of Experts（MoE）の理論と実装 — 条件付き計算でLLMを効率化する

2026年4月27日 Transformer

GPT-4やGeminiのような最高性能のLLMは、数千億〜数兆のパラメータを持...

LLM Mixture of Experts MoE Transformer スパースモデルルーティング

DPO（Direct Preference Optimization）— 報酬モデルなしでLLMをアライメントする

2026年4月27日 Transformer

ChatGPTが「有害な回答を避ける」「ユーザーの意図に沿った回答を生成する」こ...

DPO LLM RLHF アライメント強化学習損失関数

PagedAttention — vLLMの仮想メモリ着想によるKVキャッシュ管理

2026年4月27日 Transformer

LLMの推論サーバーを運用する際、GPUメモリの使い方が性能を大きく左右します。...

KVキャッシュ LLM PagedAttention vLLM メモリ管理推論最適化

LLMの量子化を完全解説 — GPTQ・AWQ・GGUFの理論と実践

2026年4月27日 Transformer

LLaMA-70Bのモデルパラメータは、FP16（16ビット浮動小数点）で保存す...

AWQ GGUF GPTQ LLM 推論最適化深層学習量子化

Speculative Decoding（投機的デコーディング）— 小さなモデルでLLM推論を高速化する

2026年4月27日 Transformer

ChatGPTやClaudeのような大規模言語モデル（LLM）を使っていると、「...

LLM Speculative Decoding Transformer 推論高速化深層学習

ConFGD — 周波数グラフ発見とLLM言語誘導で時系列ドメイン適応を革新する【AAAI 2025】

2026年4月26日 Transformer

スマートフォンの加速度センサで「歩行」「階段昇降」「着席」などの行動を分類するモ...

ConFGD GNN LLM ドメイン適応周波数解析対照学習時系列分析

Chinchilla最適スケーリング — 計算予算に対するモデルサイズとデータ量の最適配分

2026年4月21日 Transformer

あなたが100億円の計算予算を持っているとしましょう。GPUを買い、データセンタ...

Chinchilla Hoffmann Kaplan LLM Transformer スケーリング則計算効率

LLaMAアーキテクチャの設計思想 — RMSNorm・SwiGLU・GQA・RoPEを完全解説

2026年4月19日 Transformer

ChatGPT の登場以降、大規模言語モデル（LLM）は爆発的に普及しました。し...

GQA LLM RMSNorm RoPE SwiGLU Transformer 機械学習

GPT-2→GPT-3→GPT-4の進化 — アーキテクチャとスケーリングの変遷を辿る

2026年4月19日 Transformer

1.17億パラメータから1兆超へ — わずか5年の間に、GPTシリーズのパラメー...

GPT GPT-2 GPT-3 GPT-4 LLM Transformer スケーリング

QLoRAの理論と実装 — 4bit量子化＋LoRAで大規模LLMを効率的にファインチューニング

2026年4月19日 Transformer

65Bパラメータのモデルを単一の48GB GPUでファインチューニングできる —...

LLM LoRA NF4 QLoRA ファインチューニング機械学習量子化

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}