Transformer | 機械学習と情報技術

Transformer Encoderの構造と実装を完全理解する

2026年2月19日 Transformer

Transformer Encoderは、入力系列を双方向に処理し、文脈を反映し...

Encoder NLP Self-Attention Transformer 深層学習

BERTの仕組みと双方向Transformerの理論と実装

2026年2月19日 Transformer

BERT（Bidirectional Encoder Representatio...

BERT Transformer マスク言語モデル事前学習深層学習自然言語処理

Transformerアーキテクチャの全体像をわかりやすく解説

2026年2月18日 Transformer

Transformerは、2017年にGoogleの研究チームがNeurIPS論...

Encoder-Decoder Self-Attention Transformer 位置エンコーディング深層学習

BPE・WordPiece・SentencePieceを比較して理解する

2026年2月18日 NLP

トークナイゼーション（Tokenization）は、テキストを機械学習モデルが処...

BPE SentencePiece Transformer WordPiece トークナイゼーション自然言語処理

【実践】LoRA/PEFTで効率的にLLMをファインチューニングする

2026年2月10日 Transformer

LoRA（Low-Rank Adaptation）は、大規模言語モデルを効率的に...

LoRA PEFT Transformer ファインチューニング大規模言語モデル深層学習

KVキャッシュの仕組み — LLM推論を高速化する基本技術

2026年2月8日 Transformer

KVキャッシュ（Key-Value Cache）は、大規模言語モデル（LLM）の...

KVキャッシュ LLM Transformer 推論高速化深層学習

アテンションマスクの種類と実装を完全理解する

2026年2月4日 Transformer

アテンションマスク（Attention Mask）は、Transformerにお...

Causalマスク LLM Transformer アテンションマスクパディングマスク

RoPE（回転位置埋め込み）の数学的導出と実装

2026年2月3日 Transformer

RoPE（Rotary Position Embedding、回転位置埋め込み）...

Llama LLM RoPE Transformer 位置エンコーディング

Flash Attentionの仕組み — IO-Aware なアテンション高速化

2026年1月30日 Transformer

Flash Attention は、Transformer のアテンション計算を...

Flash Attention GPU最適化 LLM Transformer メモリ効率

Instruction Tuningの理論と実装

2026年1月14日 NLP

ChatGPTやClaudeのようなLLMが自然な指示に従えるのは、Instru...

LLM Transformer ファインチューニング機械学習自然言語処理

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}