一般的な活性化関数の違いについてメモ。 結論から言うとReLuを使おう。 それでもDead Neuronsが生まれるならLeaky ReLuなど使おう。 ここにはもっと細かく書かれてる。 https://github.com/EmbraceLife/sigmoid-SEE-...