PyTorch の Adam の検算 - Qiita
torch.optim.Adam が、Adam の更新式通りにパラメータを更新してくれているかを簡単な例で確認するスクリプトを書きました。 入出力が 1 次元の線形モデル y(x) = w * x + b を用意し、MSE 損失の勾配を計算します。その後、Adam の1, ...