NLP | 機械学習と情報技術

文脈付き埋め込み（ELMo→BERT）— 静的表現から文脈依存表現への進化

2026年4月19日 Transformer

「彼は川のバンクに座った」と「彼はバンクにお金を預けた」— 日本語の「バンク」に...

BERT ELMo NLP Transformer 埋め込み表現自然言語処理

ALBERT・DistilBERT — BERTの軽量化・効率化手法を徹底解説

2026年4月19日 Transformer

BERT-base は約1億1,000万個のパラメータを持ち、推論に約400MB...

ALBERT BERT DistilBERT NLP Transformer パラメータ共有知識蒸留

Mistral/Mixtralのアーキテクチャ — Sliding Window AttentionとMoEの融合

2026年4月19日 Transformer

7Bのパラメータで13Bクラスのモデルを上回る性能を出せるとしたら、どうでしょう...

LLM Mistral Mixtral MoE NLP Sliding Window Attention Transformer

Adapter / Prefix Tuning — 少数パラメータで大規模モデルを適応させる

2026年4月19日 Transformer

GPT-3が175Bパラメータを持つモデルとして登場したとき、研究者たちはあるジ...

Adapter NLP PEFT Prefix Tuning Transformer ファインチューニング転移学習

Multi-Head Attentionの理論と実装を完全解説

2026年3月7日 Transformer

私たちが文章を読むとき、無意識のうちに複数の視点から情報を処理しています。たとえ...

Multi-Head Attention NLP Self-Attention Transformer 深層学習

Word2Vec（Skip-gram/CBOW）の理論と実装を解説

2026年2月25日 NLP

Word2Vec は、2013年に Mikolov らが提案した単語の分散表現（...

CBOW NLP Skip-gram Word2Vec 分散表現単語埋め込み

GPTのアーキテクチャと自己回帰生成を解説

2026年2月25日 NLP

GPT（Generative Pre-trained Transformer）は...

GPT NLP Transformer Decoder 事前学習自己回帰言語モデル

ファインチューニングと転移学習の理論を解説

2026年2月25日 NLP

転移学習（Transfer Learning）とファインチューニング（Fine-...

BERT GPT NLP ファインチューニング事前学習特徴抽出転移学習

双方向RNN（Bidirectional RNN）の理論と実装を解説

2026年2月25日 RNN

単方向のRNNは、系列を左から右へ順に処理するため、時刻 $t$ の隠れ状態 $...

BiLSTM BiRNN NLP 双方向RNN 深層学習系列ラベリング

GloVeの理論と単語ベクトルの導出を解説

2026年2月25日 NLP

GloVe（Global Vectors for Word Representa...

GloVe NLP 共起行列分散表現単語埋め込み行列分解

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}