ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita

追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。初めに誤差逆伝播法…