活性化関数「Tanh」「Sigmoid」「ReLu」の仕組みと使い分けを数式なしで整理する/ディープラーニング

ディープラーニングには、活性化関数というのが登場します。Neural Network Consoleだと「Activationレイヤー」と呼ばれてます。今回は頭の整理を兼ねて、こいつをざっくり整理してみます。