ディープラーニングブログ
id:Ryobot
論文解説 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (GNMT)
Google 翻訳の中身である GNMT はニューラル機械翻訳の王道を征く手法である.GNMT はエンコーダとデコーダにそれぞれ 8 層の LSTM (エンコーダの 1 層目は双方向 LSTM) を使用し,注意と残差接続を取り入れたモデルである.データ並列とモデル並列,Wordpiece などで計算効率を向上している.