Transformer

Mixed Precision Trainingで学習を高速化する方法

2025年11月29日 Transformer

混合精度学習（Mixed Precision Training）は、FP32とF...

FP16 GPU 最適化深層学習混合精度

【PyTorch】分散学習（DDP/FSDP）の仕組みと実装

2025年11月27日 Transformer

分散学習は、複数のGPUやノードを使ってモデルの訓練を並列化する技術です。大規模...

DDP FSDP 分散学習大規模モデル深層学習

チェックポイント管理のベストプラクティス

2025年11月26日 Transformer

チェックポイント管理は、深層学習の訓練において重要な実践的スキルです。訓練中のモ...

チェックポイントモデル保存深層学習訓練再開

Hugging Face Transformersの使い方と実践ガイド

2025年11月24日 Transformer

Hugging Face Transformersは、事前学習済みの言語モデルを...

BERT GPT Hugging Face Transformers 自然言語処理

AIセーフティとアライメント — RLHF/DPO/CAIの理論

2025年11月22日 Transformer

AIセーフティとアラインメントは、大規模言語モデル（LLM）が人間の意図と価値観...

AIセーフティ Constitutional AI LLM RLHF アラインメント

スケーリング則の数学 — Kaplan則とChinchilla則を導出する

2025年11月20日 Transformer

スケーリング則（Scaling Laws）は、言語モデルの性能がパラメータ数、デ...

LLM スケーリング則深層学習言語モデル計算量

【深層学習】Attention機構の理論と実装に入門する

2022年12月1日 Transformer

Attention機構は、入力データに対して「注目すべき箇所」を動的に特定する仕...

Attention NLP Self-Attention Transformer 機械学習深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}