ディープラーニングブログ
id:Ryobot
論文解説 Attention Is All You Need (Transformer)
本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している.わずかな訓練で圧倒的な State-of-the-Art を達成し,華麗にタイトル回収した.また注意を非常にシンプルな数式に一般化したうえで,加法注意・内積注意・ソースターゲット注意・自己注意に分類した.このうち自己注意…