LLM | 機械学習と情報技術

GPTアーキテクチャを徹底解説：Decoder-onlyモデルの設計思想

2026年2月19日 Transformer

GPT（Generative Pre-trained Transformer）は...

GPT LLM Transformer 深層学習言語モデル

プロンプトエンジニアリングの基礎と実践テクニック

2026年2月13日 NLP

プロンプトエンジニアリング（Prompt Engineering）は、大規模言語...

GPT LLM プロンプトエンジニアリング大規模言語モデル自然言語処理

In-Context Learningを理解する — LLMはなぜ文脈から学べるのか

2026年2月12日 NLP

In-Context Learning（ICL）は、大規模言語モデル（LLM）が...

Few-shot GPT In-Context Learning LLM 大規模言語モデル深層学習

RLHFの仕組みを3ステップで完全理解する

2026年2月11日 NLP

RLHF（Reinforcement Learning from Human F...

GPT LLM PPO RLHF 報酬モデル大規模言語モデル強化学習

KVキャッシュの仕組み — LLM推論を高速化する基本技術

2026年2月8日 Transformer

KVキャッシュ（Key-Value Cache）は、大規模言語モデル（LLM）の...

KVキャッシュ LLM Transformer 推論高速化深層学習

ビームサーチの理論とPython実装

2026年2月7日 Transformer

ビームサーチ（Beam Search）は、機械翻訳やテキスト生成において広く使わ...

LLM NLP テキスト生成デコーディングビームサーチ

Temperature・Top-k・Top-pサンプリングを比較して理解する

2026年2月6日 Transformer

大規模言語モデル（LLM）がテキストを生成する際、次のトークンの選び方によって出...

LLM Temperature Top-k Top-p サンプリングテキスト生成

アテンションマスクの種類と実装を完全理解する

2026年2月4日 Transformer

アテンションマスク（Attention Mask）は、Transformerにお...

Causalマスク LLM Transformer アテンションマスクパディングマスク

RoPE（回転位置埋め込み）の数学的導出と実装

2026年2月3日 Transformer

RoPE（Rotary Position Embedding、回転位置埋め込み）...

Llama LLM RoPE Transformer 位置エンコーディング

Flash Attentionの仕組み — IO-Aware なアテンション高速化

2026年1月30日 Transformer

Flash Attention は、Transformer のアテンション計算を...

Flash Attention GPU最適化 LLM Transformer メモリ効率

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}