Transformer

投機的デコーディングの数理と実装

2026年1月23日 Transformer

投機的デコーディング（Speculative Decoding）は、小さなドラフ...

LLM Speculative Decoding 投機的デコーディング推論高速化深層学習

Mixture of Experts (MoE) の仕組みとゲーティング機構

2026年1月22日 Transformer

Mixture of Experts（MoE）は、ニューラルネットワークの効率を...

LLM Mixture of Experts MoE Sparse Model 深層学習

Vision Transformer (ViT)の理論と実装

2026年1月1日 Transformer

Vision Transformer（ViT）は、2020年にGoogleの研究...

Self-Attention Transformer Vision Transformer ViT 深層学習画像認識

CLIPの対照学習を数式から理解してPythonで実装する

2025年12月30日 Transformer

CLIP（Contrastive Language-Image Pre-trai...

CLIP Transformer Vision Transformer マルチモーダル対照学習深層学習

マルチモーダルLLMの設計パターンと融合手法を解説

2025年12月19日 Transformer

マルチモーダルLLM（Large Language Model）は、テキストだけ...

GPT-4V LLM Transformer Vision-Language マルチモーダル深層学習

LLaVAアーキテクチャの理論と実装

2025年12月18日 Transformer

LLaVA（Large Language and Vision Assistan...

LLaVA LLM Transformer Vision-Language マルチモーダル深層学習

ReLU・GELU・SiLUを数式から比較して理解する

2025年12月11日 Transformer

活性化関数はニューラルネットワークに非線形性を導入する重要な要素です。ReLUが...

GELU ReLU SiLU 機械学習活性化関数深層学習

SGD・Adam・AdamW・Lionの理論とPython実装

2025年12月10日 Transformer

オプティマイザは深層学習モデルの学習効率と最終性能を大きく左右します。SGDから...

Adam AdamW Lion オプティマイザ機械学習深層学習

学習率スケジュールの種類と選び方

2025年12月8日 Transformer

学習率（Learning Rate）はニューラルネットワークの学習において最も重...

スケジューラハイパーパラメータ学習率機械学習深層学習

勾配クリッピングの理論と実装

2025年12月1日 Transformer

勾配クリッピング（Gradient Clipping）は、勾配爆発を防ぐための手...

RNN Transformer 勾配クリッピング最適化深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}