クラウドエンジニアのノート
id:tontainoti
Pytorch Distributed Data Parallel(DDP) 実装例 (pytorch ddp vs huggingface accelerate)
はじめに 新しくhuggingface accelerateを用いたDDPの実装を加えました (2021/11/1) 学習コード DataParallel nn.DataParallelのソース DDP DDPのソース 実行コマンド DDPソース説明 DDP (accelerate) DDPのソース (accelerate) 実行コマンド DDP(accelerate) ソース説明 時間比較 cuda:0 nn.DataParallel DDP DDP (accele…
