【深層学習】最適化 / Optimization

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index 最適化 / Optimization とは 勾配 勾配法 アルゴリズム 確率的勾配降下法 / Stochastic Gradient Descent / SGD SGLD / 2011 Momentum ネフテロフの加速勾配法 / Nesterov's Accelerated Gradient Method / NAG / 1983 AdaGrad / Adaptive Subgradient Descent…