ディープラーニングブログ

ConvS2S は脱 RNN による系列方向の並列化という風潮を決定づけたニューラル機械翻訳の手法です．単語列の処理を LSTM から CNN に置き換え，GNMT より高性能かつ訓練も 5 倍高速を達成しています．LSTM はゲーティングが重要なので，この部分を抜き出した Gated Linear Unit を併用します．