勾配法は本当に鞍点近傍にはまるのか?モース理論で考えてみる - Qiita

TL;DR勾配法はほとんどのケースで極小点に収束する(鞍点には収束しない)この事実は力学系や最適化の分野ではよく知られているが,機械学習では新しい?数年前にバズった勾配法の比較動画は実際の学習…