共役勾配法

まず最急降下法について。最適化問題の局所的探索法に最急降下法がある。 この最急降下法の考え方は次のような感じ。「最も勾配が急な方向に進みましょう。その方向で一番低い場所に到達したら、進む向きを変えましょう。新しい方向は、その地点で最も勾配が急な方向です。これを繰り返すことで、やがては最も低い点に到着…