勾配降下法の自作アルゴリズム

前回の記事でよく知られている勾配降下法のアルゴリズムを書きました。 しかし私が勾配降下法のコードを書いて遊ぶときには、最近は次のアルゴリズムを使っています。 前回の差分に係数を乗じたのが次の差分になりますが、その係数は前回の勾配と今回の勾配の比 から計算できる値 です。関数 の定義中に怪しげなハードコー…