Learning Guide
ディープラーニングガイド
ニューラルネットワークの基礎からCNN、RNN/LSTM、Transformer、生成モデル、LLMまで。9章・76記事で深層学習の理論と実装を学ぶ。
機械学習の基礎
ディープラーニングに入る前に押さえるべき機械学習の基本概念。損失関数、最適化、正則化、評価方法を理解する。
勾配降下法の基礎
最適化の基本アルゴリズム、学習率と収束の関係
損失関数の概要
MSE・交差エントロピーなど、主要な損失関数の定義と使い分け
L1/L2正則化と過学習対策
Lasso・Ridgeによる正則化の理論と効果
交差検証
モデル選択と汎化性能の評価手法
バイアス・バリアンス トレードオフ
モデルの複雑さと汎化誤差の関係を理論的に理解する
ニューラルネットワークの基礎
パーセプトロンから多層ネットワークへ。順伝播・誤差逆伝播の数学、活性化関数、重み初期化、最適化アルゴリズムを1つずつ積み上げる。
ニューラルネットワークの基礎
パーセプトロンから多層ネットワークへの発展と基本構造
活性化関数
ReLU・Sigmoid・Tanh・GELU など活性化関数の特性と選び方
誤差逆伝播法（バックプロパゲーション）
深層学習の心臓部、計算グラフと連鎖律による勾配計算
重み初期化
Xavier・He初期化の理論と勾配消失・爆発の防止
SGDとAdam
確率的勾配降下法から適応的学習率手法までの比較と実装
ソフトマックス関数
多クラス分類の出力層、数値安定な実装方法
学習の安定化テクニック
深いネットワークを安定して学習させるための技術群。正規化・ドロップアウト・学習率スケジューリングで過学習を防ぎ、収束を加速する。
CNN（畳み込みニューラルネットワーク）
画像認識を革命的に進化させたCNN。畳み込み・プーリングの仕組みからResNet、Vision Transformerまで、画像処理のアーキテクチャを学ぶ。
CNNアーキテクチャの基礎
畳み込み層・プーリング層・全結合層の役割と構造
PyTorchでCNN実装
画像分類タスクでCNNを実装する実践チュートリアル
ResNetとスキップ接続
残差接続による深層化の理論、勾配フローの改善
Vision Transformer（ViT）
画像をパッチ分割してTransformerで処理するアーキテクチャ
RNN・LSTM・GRU（系列モデル）
時系列データやテキストなど、順序のあるデータを処理するリカレントモデル。RNNの基礎から勾配消失を解決するLSTM・GRU、そしてSeq2Seqまで。
Attention と Transformer
現代の深層学習の中心技術。注意機構の基本概念からSelf-Attention、Multi-Head Attention、そしてTransformerアーキテクチャの全体像を理解する。
注意機構（Attention）の基礎
Query・Key・Valueの概念と注意重みの計算
Self-Attentionの詳解
自己注意機構の数式導出とスケーリングの理由
マルチヘッドアテンション
複数の注意ヘッドによる多角的な表現学習
位置エンコーディング
正弦波ベースの位置情報の注入とRoPEまで
Transformerアーキテクチャの全体像
エンコーダ・デコーダ構造の設計思想を解説
Transformerエンコーダ
Self-Attention + FFN + 残差接続の構成を深く理解
Transformerデコーダ
マスク付き注意とクロスアテンションの仕組み
「Attention is All You Need」論文解説
原論文の貢献と設計選択を改めて読み解く
生成モデル
データの分布そのものを学習し、新しいサンプルを生成するモデル群。オートエンコーダ、VAE、GAN、拡散モデルの理論と実装を学ぶ。
言語モデルとLLM
自然言語処理を変革した事前学習済みモデル群。Word2VecからBERT、GPT、そしてファインチューニング・量子化までの技術体系を学ぶ。
実践とツール
PyTorchを使った実装スキルと、大規模モデルの効率的な学習・運用テクニック。
PyTorch基礎チュートリアル
テンソル操作・自動微分・モデル定義の基本
カスタムDatasetの実装
独自データを扱うためのDataset・DataLoaderの設計
ハイパーパラメータチューニング
グリッドサーチ・ランダムサーチ・ベイズ最適化の使い分け
知識蒸留
大きな教師モデルから小さな生徒モデルへの知識転移
分散学習
マルチGPU・マルチノードでの並列学習テクニック