一般的な活性化関数の違いについてメモ。結論から言うとReLuを使おう。それでもDead Neuronsが生まれるならLeaky ReLuなど使おう。ここにはもっと細かく書かれてる。https…