ishishi11’s blog

Section1 勾配消失問題 誤差逆伝播法が下位層に進むにつれて、勾配がどんどん緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど更新しない。 ・ シグモイド関数は大きい値、小さい値だと勾配が微小であるため学習が進まない。 ・勾配消失問題を回避するために、活性化関数をReLuにす…