推論高速化 | 機械学習と情報技術

Multi-Query / Grouped-Query Attention（MQA/GQA）— KVキャッシュを削ってLLM推論を軽くする

2026年7月2日 Transformer

長い文章をLLMに書かせていると、最初の応答が出るまでは待たされるのに、そこから...

GQA KVキャッシュ LLM MQA Transformer 推論高速化深層学習

KVキャッシュの仕組み — LLM推論を高速化する基本技術

2026年6月28日 Transformer

ChatGPTやClaudeでテキストを生成するとき、最初の1文字が表示されるま...

KVキャッシュ LLM Transformer 推論高速化深層学習

投機的デコーディングの数理と実装

2026年6月7日 Transformer

投機的デコーディング（Speculative Decoding）は、小さなドラフ...

LLM Speculative Decoding 投機的デコーディング推論高速化深層学習

LLMの量子化（INT8/INT4）を理論から実装まで解説

2026年6月7日 Transformer

量子化（Quantization）は、ニューラルネットワークの重みや活性化を低精...

INT4 INT8 LLM 推論高速化深層学習量子化

Speculative Decoding（投機的デコーディング）— 小さなモデルでLLM推論を高速化する

2026年6月7日 Transformer

ChatGPTやClaudeのような大規模言語モデル（LLM）を使っていると、「...

LLM Speculative Decoding Transformer 推論高速化深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}