八谷大岳の覚え書きブログ

多階層のニューラルネットワークの勾配法を用いた教師あり学習では、下位層のパラメータは出力までにシグモイド関数が何重にもかかるため、勾配がほぼ０になってしまう問題がある。この問題は、最近ではGradient vanishing「勾配消滅」問題と呼ばれている。意外にも、このGradient vanishing問題を、可視化しているのを本…