実務で使えるニューラルネットワークの最適化手法

メリークリスマス。 @tereka114です。本記事はDeep Learning論文紹介 Advent Calendar 2019の25日です。 qiita.com私はKaggleの画像コンペに頻繁に参加しています。 そのときに、毎度選定にこまるのがニューラルネットワークの最適化手法(Optimizer)です。 学習率やWeight Decayなどハイパーパラメータが多く、選択パタ…