LLM | 機械学習と情報技術

【大規模モデル】Tensor/Pipeline並列化の理論と実装

2026年1月28日 Transformer

大規模言語モデル（LLM）は数十億から数千億のパラメータを持ち、単一のGPUメモ...

LLM Pipeline並列 Tensor並列モデル並列化分散学習深層学習

LLMの量子化（INT8/INT4）を理論から実装まで解説

2026年1月25日 Transformer

量子化（Quantization）は、ニューラルネットワークの重みや活性化を低精...

INT4 INT8 LLM 推論高速化深層学習量子化

投機的デコーディングの数理と実装

2026年1月23日 Transformer

投機的デコーディング（Speculative Decoding）は、小さなドラフ...

LLM Speculative Decoding 投機的デコーディング推論高速化深層学習

Mixture of Experts (MoE) の仕組みとゲーティング機構

2026年1月22日 Transformer

Mixture of Experts（MoE）は、ニューラルネットワークの効率を...

LLM Mixture of Experts MoE Sparse Model 深層学習

RAG（検索拡張生成）の仕組みとPython実装

2026年1月21日 NLP

大規模言語モデル（LLM）は膨大な知識を持っていますが、学習データに含まれない最...

LLM RAG ベクトル検索機械学習自然言語処理

【RAG】テキストチャンキング戦略の比較と実装

2026年1月16日 NLP

RAG（検索拡張生成）システムの性能を大きく左右するのが、文書をどのように分割（...

LLM RAG テキスト処理機械学習自然言語処理

リランキングでRAGの検索精度を向上させる方法

2026年1月15日 NLP

RAG（検索拡張生成）システムでは、ベクトル検索で候補文書を取得した後、リランキ...

LLM RAG 情報検索機械学習自然言語処理

Instruction Tuningの理論と実装

2026年1月14日 NLP

ChatGPTやClaudeのようなLLMが自然な指示に従えるのは、Instru...

LLM Transformer ファインチューニング機械学習自然言語処理

DPO（Direct Preference Optimization）の数学的導出と実装

2026年1月13日 NLP

LLMを人間の好みに沿うように調整する手法として、DPO（Direct Pref...

LLM アライメント強化学習機械学習自然言語処理

Constitutional AIとは？原則に基づくアライメント手法を解説

2026年1月12日 NLP

AIシステムを有害な出力から守りつつ、有用性を維持する方法として、Constit...

AI安全性 LLM アライメント機械学習自然言語処理

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}