【大規模モデル】Tensor/Pipeline並列化の理論と実装
大規模言語モデル（LLM）は数十億から数千億のパラメータを持ち、単一のGPUメモ...
【PyTorch】分散学習（DDP/FSDP）の仕組みと実装
分散学習は、複数のGPUやノードを使ってモデルの訓練を並列化する技術です。大規模...