LLM | 機械学習と情報技術

アテンションマスクの種類と実装を完全理解する

2026年2月4日 Transformer

アテンションマスク（Attention Mask）は、Transformerにお...

Causalマスク LLM Transformer アテンションマスクパディングマスク

RoPE（回転位置埋め込み）の数学的導出と実装

2026年2月3日 Transformer

RoPE（Rotary Position Embedding、回転位置埋め込み）...

Llama LLM RoPE Transformer 位置エンコーディング

Flash Attentionの仕組み — IO-Aware なアテンション高速化

2026年1月30日 Transformer

Flash Attention は、Transformer のアテンション計算を...

Flash Attention GPU最適化 LLM Transformer メモリ効率

【大規模モデル】Tensor/Pipeline並列化の理論と実装

2026年1月28日 Transformer

大規模言語モデル（LLM）は数十億から数千億のパラメータを持ち、単一のGPUメモ...

LLM Pipeline並列 Tensor並列モデル並列化分散学習深層学習

LLMの量子化（INT8/INT4）を理論から実装まで解説

2026年1月25日 Transformer

量子化（Quantization）は、ニューラルネットワークの重みや活性化を低精...

INT4 INT8 LLM 推論高速化深層学習量子化

投機的デコーディングの数理と実装

2026年1月23日 Transformer

投機的デコーディング（Speculative Decoding）は、小さなドラフ...

LLM Speculative Decoding 投機的デコーディング推論高速化深層学習

Mixture of Experts (MoE) の仕組みとゲーティング機構

2026年1月22日 Transformer

Mixture of Experts（MoE）は、ニューラルネットワークの効率を...

LLM Mixture of Experts MoE Sparse Model 深層学習

RAG（検索拡張生成）の仕組みとPython実装

2026年1月21日 NLP

大規模言語モデル（LLM）は膨大な知識を持っていますが、学習データに含まれない最...

LLM RAG ベクトル検索機械学習自然言語処理

【RAG】テキストチャンキング戦略の比較と実装

2026年1月16日 NLP

RAG（検索拡張生成）システムの性能を大きく左右するのが、文書をどのように分割（...

LLM RAG テキスト処理機械学習自然言語処理

リランキングでRAGの検索精度を向上させる方法

2026年1月15日 NLP

RAG（検索拡張生成）システムでは、ベクトル検索で候補文書を取得した後、リランキ...

LLM RAG 情報検索機械学習自然言語処理

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}