RAdam とは、Adam が更新の正規化に使う 2 次モーメント の推定が、訓練初期に大きくばらつく (分散が大きい) という分析に基づき、 による正規化の分散を一定に保つ補正項を掛け、分散が大きすぎる最初の数ステップについては正規化自体をやめるよう...